«Я не понимал, где экраны, а где реальность»: создатели «Мандалорца» о виртуальном продакшне и UE4

Основные тезисы и важные факты из недавнего эпизода документального сериала «Галерея Disney: Мандалорец».

На стриминговом сервисе Disney+ с начала мая выходит документальный сериал о создании сериала «Мандалорец». Стандартные элементы из формата «фильм о фильме», вроде интервью и съёмок за кадром, разбавляют круглые столы, где причастные к проекту люди обсуждают связанные с ним темы. Каждая серия посвящена отдельной составляющей работы над сериалом: режиссёрам, актёрам, наследию «Звёздных войн» и так далее.

Пока что самым содержательным и богатым на новую информацию стал четвёртый эпизод, посвящённый технологиям, которые применяли на съёмочной площадке. В нём шоураннер Джон Фавро, продюсер Кэтлин Кэннеди, специалисты по графике из ILM и другие причастные к проекту люди рассказали об использовании движка Unreal Engine 4, рендеринге графики в реальном времени и павильонах из LED-экранов.

Это первый подробный и публичный рассказ о новых методах работы со спецэффектами и тонкостях производства «Мандалорца» от его авторов. Мы уже делали отдельный текст на схожую тему, но теперь создатели раскрыли множество новых подробностей. Мы посмотрели серию и выбрали главные тезисы из неё.

Автор: Николай Кубрак

Как родилась идея

Шоураннер «Мандалорца» Джон Фавро со времён «Железного человека» погружён в работу с графикой и знает, как максимально эффективно и правдоподобно её использовать. Он признаёт, что с помощью классических методов можно сделать многое, но не всё — например, всегда возникают проблемы с интерактивным светом. То, что обыватели часто называют плохой графикой — это именно те моменты, которые режиссёры откладывают на стадию пост-обработки: тени, отражения, специфика освещения.

На съёмках «Книги Джунглей» Фавро использовал видеопанели для создания интерактивного освещения. Результат получился убедительным, но такие съёмки занимали слишком много времени, — приходилось постоянно передвигать «синий экран».

Тогда Фавро впервые задумался о том, какой может быть идеальная площадка. Изначально он хотел, чтобы хромакей всегда мог двигаться вслед за актёром, но это оказалось невозможным. Тогда режиссёр обратиться к игровым движкам.

Первый эксперимент удалось провести на съёмках «Короля Льва» — там использовали предварительную визуализацию из сгенерированных в UE4 сцен и виртуальную реальность. Вместо мокапа и дорогих технологий использовали анимацию внутри движка, — так можно было продумывать движения камеры и свет.

Работу над фильмом всё ещё вели с обычным экраном: на площадке рисовали картинку, передавали её обратно на экран, ставили перед ним голову льва, а затем перемещали камеру относительно неё, меняя изображение на фоне. Со стороны это выглядело странно, но в объективе картинка была идеальной. На тот момент это была лишь проверка концепции: для полноценной реализации идеи нужен был отдельный проект и ресурсы под такие эксперименты.

Для «Мандалорца» собрали команду специалистов по графике и спецэффектам из Industrial Light and Magic, к которой позже присоединились разработчики Unreal Engine. Под руководством Фавро они устраивали брейнштормы, пытаясь изобрести новшества, которые позволили бы снимать сложные эпизоды быстрее и дешевле.

Первым делом они усовершенствовали видеопанели, которые Фавро использовал на «Книге Джунглей» — они стали дешевле, больше и чётче. А опыт съёмок внутри виртуальной реальности из «Короля Льва» применили для создания реалистичного окружения.

Использование LED-экранов — наследие Кубрика

«Мандалорец» — это первый случай использования рендеринга в реальном времени и светодиодных стен для эффектов на съёмках кино. Это было необходимостью, которая вытекала из обозначенных сроков, места для съёмки и бюджета.

Идею с использованием светодиодных экранов позаимствовали из прошлого. Подобные технологии применяли ещё с 1930-х годов — например, при съёмке «Кинг-Конга», когда фоны проецировали на стену за персонажами.

Главным источником вдохновения для команды Фавро стал фильм «2001 год: Космическая Одиссея» Стэнли Кубрика, который был прорывом в использовании рир-проекции и фронт-проекции — приёмов комбинированных съёмок. Фавро был впечатлён тем, как снята открывающая сцена фильма: он долгие годы думал, что блеск в глазах леопарда — сложный эффект, но, как оказалось, это было просто отражение света от экрана. Сцена полностью снята в павильоне с имитацией реального окружения.

Этот опыт решили применить на съёмках «Мандалорца». Подход к освещению фактически полностью скопировали: чтобы реалистично воссоздать солнечный свет, Кубрик поместил его на дальний план, оставим передний более тёмным. Таким же образом поступили на съёмках «Мандалорца»: павильон устроен так, что передний план всегда затемнён, а свет исходит от экранов, которые находятся позади персонажей.

Почему павильон с экранами лучше хромакея

Особенно сложные сцены снимали в светодиодном павильоне — по сути, это огромный зал, полностью состоящий из экранов. Он выглядит как круг диаметром в 23 метра с потолком.

Сгенерированное окружение проецировали на все поверхности. Потолок — это, по сути, огромный экран, состоящий из тысячи светодиодных экранов.

При работе в таком павильоне можно сразу запечатлеть всё необходимое в кадре, а не откладывать на пост-обработку, как при съёмках с хромакеем. Фоны — это фотографии реальных локаций, которые оцифровали и реалистично расставили по геометрии в Unreal Engine 4. Команда разработала специальные трекеры, которые отслеживали положение камеры и в реальном времени меняли фон в зависимости от её движения. Перспектива и параллакс, -видимое изменение положения объекта относительно удалённого фона в зависимости от положения наблюдателя, -постоянно менялись, как бы подстраиваясь под оператора.

За счёт этих технологий команда «Мандалорца» очень точно воссоздала реальный съёмочный процесс на натуре. С той разницей, что теперь они не зависели от погоды и обстоятельств, и могли снимать сцены с рассветом хоть десять часов подряд.

Один из режиссёров сериала — Рик Фамуйва — видит главное преимущество новой технологии в том, что она создаёт иллюзию настоящей съёмочной площадки — в отличие от павильона с хромакеем. Он заранее приходил на площадку с актёрами, чтобы исследовать «декорации», — в случае с зелёным экраном в этом бы не было никакого смысла. Технология давала больше свободы для творчества, потому что позволяла менять всё что угодно в реальном времени.

При таком подходе можно было передавать сцены на монтаж прямо в день съёмок. Можно было найти ошибку и сразу же её исправлять, вернувшись на площадку и за несколько минут поменяв изображение на фоне. Причём без каких-либо дополнительных затрат — достаточно переставить любой объект или источник света внутри сгенерированной сцены и включить экран. Режиссёры часто подстраховывали друг друга и снимали такие блоки за коллег, которые были в заняты чем-то другим — часто это занимало не более получаса.

Ещё больше повезло актёрам: им не приходилось постоянно включать фантазию, как при съёмках с хромакеем — реалистичное изображение всегда было перед глазами. Актёры просто реагировали на среду и вживались в роль, как при традиционных съёмках. Они могли взаимодействовать с окружением, — ведь на полу перед экраном всегда находились реальные объекты.

Проекции на экранах достраивали крупную технику и предметы

Все реальные объекты, стоявшие на полу, «продолжались» на светодиодной стене. Если на проекции была куча грязи — настоящую насыпали на пол в то же место, а каждый ящик и механизм тоже достраивали внутри экрана.

Даже крупногабаритный корабль героя, который помещался в павильоне, не стали доделывать до конца — оказалось, что удобнее «достроить» его в виде изображения на стене. Ещё более экономично поступили с огромной бронемашиной из второго эпизода: декораторы построили только гусеницу, а остальное было дорисовано на стене позади.

Тайка Вайтити признаётся, что заходя в павильон он не всегда понимал, где находятся экраны. Все элементы были настолько точно подгнаны друг к другу, что возникала оптическая иллюзия: ты не понимаешь, где заканчиваются реальные вещи и начинается изображение.

Коллега Вайтити, Дэйв Филони, подтверждает это -во время съёмок сцены в мастерской он очень долго пытался разобрать, какая деталь реальна, а какая нет. А на одной из съёмочных смен на экране тестировали эффект дыма, и кто-то из съёмочной группы испугано закричал: «Пожар! Пожар!»

За счёт использования игрового движка и рендеринга в реальном времени изображение всегда выглядело так, как нужно — как бы ни двигалась камера. Камеры расставляли так, будто снимают реальность внутри видеоигры. Для тех, кто плохо знаком с технологией, режиссёр Дэйв Филони приводит понятный пример — просто представьте, что вы, зритель, оказались в самом центре битвы при Хоте.

Виртуальный продакшн — прорыв в работе со светом и отражениями

Сильнее всего Фавро впечатлили съёмки фрагмента в пустыне из пятого эпизода. Только за счёт двух актёров, камня, декорации байка и фона удалось создать реалистичный силуэт и выверенный баланс света и тени. Дополнительные источники освещения для этого не использовали — только «естественный» свет с экранов.

По большому счёту, павильон — это большая осветительная коробка. Всё, что находится в кадре, освещено экранами, причём максимально реалистично. Специально для демонстрации этого заглавного персонажа поместили в отражающую экипировку.

Шлем мандалорца — это своеобразное зеркало, которое отражает все элементы фона. Режиссёры использовали эту возможность по максимуму, в отличие от аналогичных съёмок с хромакеем, где присутствие зеркальных поверхностей минимизируют, чтобы не пришлось постоянно убирать «зелень» и добавлять отражения на пост-продакшне.

Осветительную систему при работе с хромакеем приходится постоянно подстраивать под расположение экрана, чтобы свет казался реалистичным. Но для создания правдоподобного результата всё равно почти всегда приходится выправлять изображения на пост-обработке.

Работа внутри павильона с LED-экрана мало чем отличается от съёмок на натуре. Режиссёры пользовались ровно теми же традиционными методами, -лишь с тем исключением, что яркость и тени всегда можно было менять вручную прямо на съёмочной площадке.

Первым к аналогичной идее пришёл Джордж Лукас

Со времён приквелов Лукас размышлял об аналогичной технологии, которая могла бы заменить «зелёный экран» и упростить съёмки. Актриса и режиссёр Брайс Даллас Ховард уверяет, что слышала фразу Лукаса: «Однажды мы сможем снимать эти фильмы у нас в гараже, и это будет выглядеть так же реально, как путешествие длиной в миллион миль».

Создатель «Звёздных войн» приходил на съёмки, но отреагировал на технологию довольно сдержано. Дело в том, что около двадцати лет назад он уже пытался построить нечто подобное у подножия холма на своём ранчо. Лукас стремился ровно к такому же эффекту, но так и не смог создать технологию. Зато его концепция почти в точности предвосхитила всё то, что воплотили на съёмках «Мандалорца».