Geum.ru

Збірка науково-популярних публікацій щодо новітніх медіа-технологій

Вид материалаДокументы

Содержание


Неравномерное Развитие
Имитация Реальности против
Создавая Матрицу
Подобный материал:
1   2   3   4   5   6   7   8

Неравномерное Развитие

Какие типы изображений будут доминировать визуальной культурой через несколько десятилетий? Будут ли они похожи на типичные изображения, окружающие нас сейчас – фотографии, обработанные цифровыми методами и скомбинированные с различными графическими элементами и шрифтами? Или изображения будущего будут полностью другими? Заменит ли фотографию что-то еще?

Есть серьезные причины предполагать, что будущие изображения будут похожи на фотографии. Как вирус, фотография оказалась чрезвычайно жизнеспособным репрезентативным кодом: она пережила волны технологических изменений, включая компьютеризацию всех этапов культурного производства и распространения. Причина этого постоянства кода фотографии лежит в его гибкости: фотографии могут легко комбинироваться с другими визуальными формами – рисунок, двух и трехмерный дизайн, линейные диаграммы и шрифт. Результатом стало полное доминирование фотографии в современной визуальной культуре, но не в чистом виде, а в качестве различных мутаций и гибридов: фотографии, прошедшие через различные фильтры и ручную подстройку для достижения более стилизованного вида, более графичного вида, более насыщенного цвета и т.д.; фотографии смешанные с дизайном и шрифтовыми элементами; фотографии не ограниченные частью спектра, видимого человеческому глазу (ночное видение, рентген); имитация фотографий, созданных при помощи трехмерной компьютерной графики; и так далее. Поэтому, говоря что мы живем в “фото культуре” мы должны научиться читать слово “фотография” по новому. “Фотографический” сегодня – это на самом деле фото – ГРАФИЧЕСКИЙ, “фото” дает только начальный слой для конечного графического изображения. (В области видео, термин “анимированная графика” полностью отражает то же самое развитие: подчинение кинематографа живого действия графичному коду.)

Изменения в природе, обществе и культуре происходят изнутри наружу. Сначала изменяется внутренняя структура, а потом это изменение влияет на видимую оболочку. Например, в соответствии с Марксистской теорией исторического развития, инфраструктура (т.е. метод производства в данном обществе – также называемый “базис”) изменяется до суперструктуры (идеология и культура в этом обществе). В другом примере, подумайте о технологическом дизайне в 20 веке: обычно, новый тип механизмов был вначале одет в привычную оболочку: например первые машины имитировали форму лошадиной повозки. Известная идея Маклюэна, что новые виды медиа сначала эмулируют старые виды – это другой пример такого типа изменений. В этом случае, новый тип медиа продукции используется для поддержания старой структуры медиа организации, до того, как появится новая структура. К примеру, дизайн первых печатных книг был разработан таким образом, чтобы имитировать рукописные книги; кино поначалу имитировало театр; и так далее.

Эта концепция неравномерного развития может быть полезна при размышлениях об изменении современной визуальной культуры. Так как данный процесс начался пятьдесят лет назад, то сейчас компьютеризация фотографии (и кинематографии) полностью изменила внутреннюю структуру фотографического изображения. Тогда как его “оболочка” т.е. то, как выглядит типичная фотография, в большинстве случаев остается той же самой. Тем не менее возможно, что на определенном этапе развития “оболочка” также станет другой, но этого до сих пор не произошло. Так что мы можем сказать, что сейчас наша визуальная культура характеризуется новым компьютеризированным “базисом” и старой фотографической “суперструктурой”.

Фильмы “Матрица” предлагают нам очень богатый набор примеров отлично подходящих для размышлений на эту тему. Трилогия является аллегорией того, как сконструирована ее визуальная вселенная. Фильмы говорят нам о Матрице, виртуальной вселенной, управляемой компьютерами – и, конечно же, визуальные образы Матрицы, которые мы, зрители, видим в фильмах были созданы с помощью программного обеспечения (аниматоры иногда использовали Maya, но в большей степени полагались на свои программы). Так что существует совершенная симметрия между нами, зрителями фильма, и людьми которые живут внутри Матрицы – кроме того, что компьютеры с Матрицей могут создавать в реальном времени сцены, на создание которых в реальности ушло несколько месяцев или даже лет. (Так что Матрица может быть также интерпретирована как будущее компьютерных игр, которое свершится тогда, когда подобные визуальные эффекты можно будет просчитывать в реальном времени).

Ключом к визуальной вселенной Матрицы является новый набор техник компьютерной графики, которые на протяжении нескольких лет развивались людьми из академий и индустрии спецэффектов, включая Георгия Боршукова (Georgi Borshukov) и Джона Гаэту (John Gaeta). [1] Их изобретатели создали несколько названий для этих техник: “виртуальное кино”, “виртуальный человек”, “универсальный захват”. Вместе, эти техники представляют настоящую веху в истории компьютерных спецэффектов. Они привели к логическому заключению технологии 1990-х, такие как захват движения (motion capture) и одновременно начали новый этап. Мы можем сказать, что с Матрицей, старый “базис” фотографии был наконец полностью замещен новым, созданным на компьютере. Теперь нам остается увидеть как “суперструктура” фотоизображения из­менится в соответствии с этим “базисом”.


Имитация Реальности против

Сэмплирования Реальности

Перед началом, я должен заметить, что не все спецэффекты в Матрице основаны на Универсальном Захвате и, конечно же, другие Голливудские фильмы уже используют похожие стратегии. Тем не менее, в этом тексте я решил сфокусировать внимание на использовании этого процесса в Матрице, так как Универсальный Захват был специально разработан для использования во втором и третьем фильме трилогии. Перечисление имен всех людей, участвовавших в разработке займет довольно много места, поэтому я буду идентифицировать его с Гаэтой. Причина не в том, что как главный супервизор эффектов для “Матрица: Перезагрузка” и “Матрица: Революция” он получил наибольшую известность. Важнее то, что в противоположность многим другим в индустрии спецэффектов, Гаэта разъяснил техники, разработанные им и его коллегами, представляя их как новую парадигму для кинематографа и развлечений, определяя важные термины и концепции для их понимания.

Чтобы лучше понять значимость метода Гаэты, давайте кратко рассмотрим историю синтеза трехмерных фотореалистичных изображений и их использование в киноиндустрии. В 1963 Лоуренс Робертс (Lawrence G. Roberts), в то время бывший студентом выпускного курса Массачусетского Технологического Института, а в поздних 1960-х ставший одной из ключевых фигур в развитии Arpanet, опубликовал описание компьютерного алгоритма для создания изображений в линейной перспективе. Эти изображения представляли грани объекта как линии; современным языком компьютерной графики их можно назвать “каркасные изображения”. Примерно десять лет спустя ученые разработали алгоритмы, позволявшие создавать затененные изображения (так называемые затенения Гуро и Фонга, названные по именам ученых, их создавших). С середины 1970-х до конца 1980-х область трехмерной компьютерной графики прошла через стремительное развитие. Каждый год создавались новые фундаментальные техники: прозрачность, тени, наложение изображения (image mapping), рельефное текстурирование (bump mapping), система частиц (particle system), композиция (compo­sing), трассировка лучей (ray tracing), диффузное отражение (radiosity), и так далее [2]. К концу этого творческого и плодотворного периода истории, стало возможным синтезировать изображения почти любых предметов так, что они были практически неотличимы от традиционной кинематографии.

Все эти исследования были основаны на фундаментальном допущении: чтобы воссоздать изображение реальности идентичное снятому на камеру, нам необходимо систематически имитировать физические процессы, вовлеченные в создание этого изображения. Это означает имитацию комплексных взаимодействий между источниками света, свойствами разных материалов (ткань, металл, стекло и т.д.), и свойств физических видеокамер, включая все их ограничения, такие как глубина резкости и размытие движения. Так как ученым было ясно, что если они в точности будут имитировать эту физику, то компьютеру потребуется вечность для просчета единственного изображения. Поэтому они направили свою энергию на разработку упрощенных методов, которые помогут создать реалистичные изображение с меньшими вычислениями. Так что фактически, каждая из техник синтеза изображения, упомянутая мной в предыдущем параграфе – одна из таких “уловок”, частное приближение определенного подмножества всех возможных взаимодействий между источниками света, материалами и камерами.

Это допущение также означает, что вы воссоздаете реальность шаг за шагом, с нуля. Каждый раз, когда вы хотите получить статичное изображение или анимацию некоего объекта или сцены, воспроизводится Библейская история создания.

(Я представляю Бога, создающего Вселенную, продираясь сквозь бесчисленные меню профессиональных пакетов трехмерного моделирования, анимации и рендеринга, таких как Maya. Сначала ему необходимо создать всю геометрию: манипулируя сплайнами, выдавливая контуры, добавляя скосы… Затем, для каждого объекта и существа он должен выбрать свойства материала: цвет зеркального блика, уровень прозрачности, изображение, рельеф, карты отражения и т.д. Он заканчивает с одним набором параметров, вытирает лоб и начинает работать над следующим. Теперь определим свет: опять необходимо выбрать дюжину опций меню. Он рендерит сцену, смотрит на результат и восхищается своим созданием. Но он далек от завершения: вселенная в его сознании – это не статичное изображение, а анимация, значит вода должна течь, трава и листья должны двигаться под порывами ветра, и все существа также должны двигаться. Он смотрит и открывает другой набор меню, где необходимо задать параметры алгоритмов которые будут имитировать физику движения. И опять, и опять, и опять. Наконец, мир закончен и выглядит хорошо; но Бог хочет создать человека, который восхищался бы его созданием. Бог вновь осматривается и берет с полки учебник по Maya, полный набор которых занимает всю полку…)

Конечно же, мы находимся в лучшем положении, чем был Бог. Он создавал все в первый раз, так что ему неоткуда было заимствовать. Поэтому все должно быть создано и определено с нуля. Но мы не создаем новую вселенную, а имитируем уже существующую, т.е. физическую реальность. Поэтому ученые, работающие над техниками трехмерной графики, давно осознали, что в дополнение к аппроксимации вовлеченной физики, они могут сделать еще одно упрощение. Чтобы не определять что-то с нуля, через алгоритмы, они могут просто сэмплировать это из существующей реальности, и использовать эти сэмплы в процессе построения.

Примерами использования этой идеи служат техники наложения текстуры и рельефа, которые появились во второй половине 1970-х. При наложении текстуры, любое двухмерное изображение, которое может быть приближенной текстурой дерева или кирпичей, или чем угодно, например логотипом, фотографией лица или облаков, математически накладывается на трехмерную модель. Это очень эффективный метод добавления визуальной насыщенности реального мира, виртуальной сцене. Наложение рельефа работает похожим образом, но в этом случае двухмерное изображение используется для добавления сложности самой геометрии. К примеру, чтобы не моделировать вручную все маленькие трещинки и выемки, составляющие трехмерную текстуру бетонной стены, художник может просто взять фотографию существующей стены, конвертировать ее в черно-белое изображение, а затем передать его алгоритму рендереринга. Алгоритм использует черно-белое изображение в качестве карты высот, т.е. значение каждого пикселя интерпретируется как относительная высота поверхности. Так, в этом примере, светлые пиксели станут чуть выпирающими точками на стене, в то время как темные чуть впалыми. Результатом будет существенная экономия времени, необходимого для воссоздания частного, но очень важного аспекта нашей физической реальности: легкая и обычно повторяющаяся трехмерная текстура, находящаяся на большинстве естественных и многих созданных человеком поверхностях, от коры деревьев до узора на одежде.

Другие техники компьютерной графики, основанные на идее сэмплирования существующей реальности, включают в себя наложение отражений и трехмерную оцифровку. Несмотря на тот факт, что все эти техники были всегда широко использованы с момента их появления, многие люди в области компьютерной графики (на сколько я могу судить) чувствовали, как будто они обманывают. Почему? Мне кажется, они ощущали это из-за концептуальной парадигмы, что создание фотореалистичной компьютерной графики – это имитация всего с нуля при помощи алгоритмов. Так что если вам приходится использовать техники, основанные на прямом сэмплировании реальности, вы чувствуете, что это временная мера, потому что подходящие алгоритмы еще не созданы или потому что компьютеры слишком слабы. У вас также появляется это чувство из-за того, что как только вы начинаете вручную сэмплировать реальность и пытаетесь внедрить эти сэмплы в ваш совершенный алгоритмический мир, вещи редко встают правильно на свои места, требуя усердной ручной настройки. Например, наложение текстуры будет совершенным на ровной поверхности, но на искривленной искажения неизбежны.

На протяжении 1970-х и 1980-х парадигмы “имитации реальности” и “сэмплирования реальности” существовали рядом. Точнее, как я сказал выше, парадигма сэмплирования была “встроена” в парадигму имитации. Общим убеждением являлось то, что при создании фотореалистичных изображений реальности необходимо имитировать все физические процессы точно, на сколько это возможно. Сэмплирование существующей реальности с последующим добавлением этих сэмплов к виртуальной сцене являлось трюком, упрощением в честной игре имитации.


Создавая Матрицу

До сих пор, мы рассматривали парадигмы трехмерной компьютерной графики, не размышляя об использовании имитированных изображений. Так что же происходит, когда вы хотите использовать фотореалистичную графику в фильме? Это приносит дополнительную неестественность. Не только из-за того, что каждое изображение должно быть внутренне согласованным, с тенями, соответствующими источникам света и так далее, но еще и потому, что теперь оно должно быть согласовано с кинематографией фильма. Имитированная вселенная и живая вселенная должны в совершенстве подходить друг другу (я говорю здесь об “обычном” использовании компьютерной графики в игровых фильмах, а не о гибридной эстетике ТВ графики, музыкальных видео и т.д., которая освобождающе противопоставляет разные визуальные коды). В ретроспективе можно заметить, что эта неестественность изменила взаимоотношение между двумя парадигмами в пользу сэмплирования. Но это стало заметно сейчас, после того, как Матрица сделала сэмплирование основой своей визуальной вселенной [3].

В начале, когда режиссеры начали использовать синтезированные трехмерные изображения в фильмах, это не произвело никакого эффекта на то, как ученые думают о компьютерной графике. Трехмерная компьютерная графика впервые была замечена в художественном фильме 1980го года Смотритель (Looker). На протяжении 1980-х было создано несколько фильмов, использующих компьютерную графику, но только как незначительный элемент всего повествования. (Выпущенный в 1982м Трон (Tron) может быть сравним с Матрицей, так как его вселенная расположена внутри компьютера и создана с помощью компьютерной графики, но это всего лишь исключение). К примеру, один из фильмов Star Track содержал сцену рождающейся планеты, созданную с помощью одной из самых первых систем частиц. Но это была единственная сцена, не взаимодействовавшая с другими эпизодами фильма.

В начале 1990-х ситуация начала меняться. С первыми фильмами, такими как Пропасть (Джеймс Камерон, 1989), Терминатор 2 (Джеймс Камерон, 1991) и Парк Юрского Периода (Стивен Спилберг, 1993), созданные на компьютере персонажи стали главными героями художественных фильмов. Это означало, что они появляются в дюжинах или даже сотнях сцен фильма, и в большинстве случаев они должны быть интегрированы в естественную среду. Например, киборг Т-100 в Терминатор 2: Судный день, или динозавры в Парке Юрского Периода. Эти компьютерные персонажи расположены внутри живой вселенной, являющейся результатом сэмплирования с помощью 35мм камеры. Имитированный мир расположен внутри сэмплированного, и они должны полностью совпадать.

Как я уже замечал в своем Языке Новых Медиа Форм (The Language of New Media), в обсуждении композиции – совмещение элементов, полученных из разных источников является одним из фундаментальных стремлений при разработке компьютерной реальности. На протяжении 1990-х режиссеры и создатели спецэффектов работали над этим, используя разнообразные техники и методы. Гаэта понял раньше других, что лучшим способом совмещения двух вселенных – живой и сгенерированной, будет построение одной новой вселенной [4].

Чтобы не использовать сэмплирование реальности, как одну из техник, используемых наряду с другими “правильными” алгоритмическими техниками синтеза изображений, Гаэта и его коллеги превратили ее в ключевой момент процесса Универсального Захвата. Этот процесс систематизировано разбирает физическую реальность на части, а затем собирает их заново в виртуальном компьютерном пространстве. Результатом становится изображение нового вида, которое выглядит как фотография/кинематография, но имеет абсолютно другую внутреннюю структуру.

Универсальный захват был развит и отлажен на протяжении 3х лет с 2000 по 2003 [5]. Как же работает этот процесс? Сюда вовлечено множество этапов, но суть следующая [6]. Действия актера записываются при общем освещении, используя пять синхронизированных камер высокого разрешения. “Действия” в этом случае, включают в себя все, что актер говорит и делает в фильме, а также все выражения лица [7]. (Во время производства студия захватывала более пяти терабайт данных каждый день). Затем специальные алгоритмы используются для отслеживания движения каждого пикселя в течение времени на каждом кадре. Эта информация комбинируется с нейтральной трехмерной моделью актера, созданной используя киберсканер (cyberscan scanner). Результатом является анимированная трехмерная форма, полностью отображающая геометрию головы актера во время каждого действия. На нее наложены цветовые данные, полученные из захваченных видеопоследовательностей. Отдельное сканирование лица актера с высоким разрешением используется для создания карты маленьких деталей поверхности, таких как поры и морщины.

После того, как все данные извлечены, выровнены и совмещены, результатом становится то, что Гаэта называет “виртуальный человек” – высокоточная реконструкция захваченных действий, доступных теперь как трехмерные данные, со всеми преимуществами этому соответствующими. К примеру, благодаря тому, что действия актера существуют как трехмерный объект в виртуальном пространстве, режиссер может использовать виртуальную камеру и просматривать реконструированные действия под любым углом. Точно также, виртуальная голова может быть освещена так, как это необходимо. Она также может быть прикреплена к отдельно сконструированному компьютерному телу [8]. К примеру, все герои, показанные в сцене Большая Драка в Матрице 2, были созданы, комбинируя головы полученные с помощью виртуального захвата действий основных актеров с компьютерными телами, созданными с помощью захвата движений действий других исполнителей. Так как все герои были сгенерированы компьютером, это позволило режиссерам использовать виртуальную камеру, управляя ей образом, невозможным в реальном мире.

Процесс был назван Полный Захват (Total Capture), потому что он охватывает всю возможную информацию объекта или сцены, используя несколько методов записи, или хотя бы то, что возможно захватить, используя доступные технологии. Разные измерения – цвет, трехмерная геометрия, отражательная способность и текстура – захвачены по отдельности, а затем собраны вместе, чтобы создать более детализированное и реалистичное изображение.

Полный захват значительно отличается от общепринятых методов, используемых для создания компьютерных спецэффектов, таких как анимация по ключевым кадрам (keyframe animation) и моделирование, основанное на физических свойствах (physically based modeling). В первом методе аниматор устанавливает ключевые положения трехмерной модели, а компьютер считает промежуточные кадры. Во втором, вся анимация автоматически создается программным обеспечением, имитирующим физику движения. (Этот метод основан на парадигме имитации реальности, объясненной выше). Например, чтобы создать реалистичную анимацию движущегося существа, программисты моделируют его скелет, мускулы и кожу, а затем определяют алгоритмы для имитации вовлеченной физики. Часто оба метода совмещаются: например физическое моделирование может быть использовано для анимации бегущего динозавра, тогда как ручная анимация применяется в сценах взаимодействия динозавра с людьми.

В последние годы, наиболее внушительные достижения в физическом моделировании были во Властелине Колец: Возвращение Короля (Петер Джексон, 2003), где использовались десятки тысяч виртуальных солдат, управляемых программным обеспечением Massive [9]. Также как неконтролируемые человеком игроки (или “боты”) в компьютерных играх, каждый виртуальный солдат “видел” местность и других солдат, а также обладал рядом приоритетов и независимым “мозгом”, т.е. программой искусственного интеллекта, направляющей действия персонажа. Но в противоположность играм, алгоритмы Massive не обязаны работать в реальном времени. Таким образом, можно создавать сцены с десятками и даже сотнями реалистично ведущих себя агентов (один коммерческий ролик, созданный с использованием Massive, использовал 146000 виртуальных персонажей).

Метод универсального захвата не использует ни анимации по ключевым кадрам ни физического моделирования. Вместо этого, он напрямую сэмплирует физическую реальность, включая цвет, текстуры и движения актеров. Короткие последовательности действий актеров закодированы как трехмерные анимации; эти анимации образуют библиотеку, используемую режиссерами при построении сцен. Аналогия с музыкальным сэмплированием здесь очевидна. Как сказал Гаэта, его команда ни разу не использовала ручную анимацию, чтобы изменить движения лица персонажа; тем не менее, также как это может делать музыкант, они часто “задерживали” определенное выражение перед тем, как перейти к следующему [10]. Это предполагает следующую аналогию – редактирование видеопленки. Но это редактирование другого уровня. Скажем так, вместо того, чтобы просто захватывать сегменты реальности на видео, а затем совмещать их вместе, метод Гаэты производит виртуальное воссоздание – микромир, который в дальнейшем может быть отредактирован и встроен в большее трехмерное пространство.