Как с помощью нейросетей сделать видео в стиле Уэса Андерсона

Уэс Андерсон — американский кинорежиссер со своим неповторимым стилем, который легко угадывается по первым кадрам. Наиболее известные его фильмы — «Отель "Гранд Будапешт"» и «Королевство полной луны». В сети можно найти множество роликов, подражающих стилю режиссера. Рассказываем, как с помощью нейросетей сделать такое видео самостоятельно.
Автор Hi-Tech Mail

Инструкция подойдет для создания вирусных роликов в любом стиле — от «Гарри Поттера» и «Форсажа» до «Матрицы» и рекламных видео Balenciaga. Меняется только визуал. Этапы создания роликов актуальны для любых форматов.

Особенности стиля Уэса Андерсона 

Режиссер обладает узнаваемым стилем, который невозможно повторить в точности, ведь он оттачивал мастерство и видение не один год. Однако можно выделить основные моменты, которые сделают ваше видео похожим на работы Андерсона.

По инструкции вы сможете создать такой ролик самостоятельно

Цвет

В своих работах Андерсон уделяет большое внимание цветовой палитре. Режиссер выделяет несколько доминирующих цветов, которые могут быть как близкими по оттенку, так и противоположными. Для него характерно использование пастельных тонов: желтого, розового, голубого, зеленого и т. п. Многие сцены построены на контрастном сочетании цветов. Примеры используемых оттенков можно посмотреть по ссылке.

При создании своего видео нужно обязательно учитывать это, также можно использовать фильтры, которые подчеркнут выбранные цвета.

На Pinterest можно найти множество примеров, какие цвета используются в фильмах Андерсона.
На Pinterest можно найти множество примеров, какие цвета используются в фильмах Андерсона.Источник: pinterest.com

Симметрия и композиция

Режиссер выстраивает кадр таким образом, чтобы изображение было идеально симметричным. Характерная сцена, когда персонаж расположен в центре экрана и практически заглядывает зрителю в глаза.

Остальное окружение тоже выверено до мелочей, и даже движение камеры при этом не нарушает идеальную гармонию сцены (как правило, она даже не двигается, вместо этого используется панорамирование, наклон и зум).

Это сразу привлекает внимание, так как в повседневности мы нечасто видим настолько выверенную симметрию. В некоторой степени создается ощущение двухмерности — вроде кукольного домика, на который мы смотрим через открытую четвертую стену. Это лишь добавляет нужного эффекта.

Изображение: кадр из фильма «Королевство полной луны»
Изображение: кадр из фильма «Королевство полной луны»

Детали

Эстетика фильмов Уэса Андерсона заключается еще и в детализированном окружении — в первую очередь, в причудливом дизайне костюмов. Кроме того, в фильмах режиссера можно заметить множество мелких деталей, которыми насыщен кадр. Часто встречаются винтажные элементы одежды и интерьера, книги, униформа.

С помощью нейросетей сложно создать настолько продуманное и детализированное изображение, однако можно использовать отдельные кадры с какими-либо характерными предметами.

Изображение: кадр из фильма «Королевство полной луны»
Изображение: кадр из фильма «Королевство полной луны»

Актеры

В фильмах режиссера часто появляются одни и те же актеры, например, Билл Мюррей и Оуэн Уилсон. Это следует учитывать при создании собственного ролика, поэтому подбирать образ персонажа лучше из актеров, которые уже снимались в фильмах режиссера.

Кроме вышеупомянутых актеров, можно использовать образы Уиллема Дефо, Скарлетт Йоханссон, Эдриана Броуди, Джеффа Голдблюма и многих других (смотрите список на проекте Кино Mail.ru). При этом желательно подбирать актеров, которые подходят на выбранные роли.

 Изображение: кадр из фильма «Отель "Гранд Будапешт"»
Изображение: кадр из фильма «Отель "Гранд Будапешт"»

Какие кадры нужно подготовить

Так как в работе мы используем нейросети, то сделать комплексные кадры с движением на уровне полноценного фильма едва ли представляется возможным. Проще всего сгенерировать статичные кадры, а затем доработать их — добавить минимальную анимацию вроде мимики персонажей или панорамирование.

 Изображение: кадр из фильма «Отель "Гранд Будапешт"»
Изображение: кадр из фильма «Отель "Гранд Будапешт"»

Вот что можно сгенерировать:

  • вид на здание, какой-либо объект или просто пейзаж;
  • группа персонажей, которые симметрично построены в кадре;
  • персонаж, которого играет известный актер (можно крупным планом и нет);
  • фон, на котором что-то двигается (например, пролетают облака);
  • вид сверху вниз (например, на стол с разложенными предметами).

Если вы снимаете ролик вживую, можно использовать более сложные сюжеты с движением. Например, персонажи идут по прямой слева направо (камера должна быть под прямым углом).

Как создать статичные кадры в нейросети

Перед тем как приступить к монтажу ролика, нужно подготовить статичные кадры и короткие видеоролики. Изображения лучше генерировать в Midjourney — получите наиболее качественный результат. Затем картинки нужно анимировать и доработать в других сервисах.

О базовых принципах работы с нейросетью мы рассказывали в отдельном материале. К сожалению, на текущий момент сервис платный, поэтому вам потребуется купить подписку.

Как задать стиль Уэса Андерсона

Midjourney достаточно хорошо понимает стиль Уэса Андерсона, чтобы выдавать похожие изображения без уточнений. Поэтому запрос можно писать в простой форме:

  • directed by Wes Anderson,
  • in the style of Wes Anderson,
  • Wes Anderson style,
  • in wes Anderson’s film;
  • Wes Anderson shot.

Можно также использовать вспомогательные запросы: symmetrical, central perspective, symmetrical location, guiding lines, aerial shot, vintage, quirky costume design, bright clothes, bright interior, bright colors, warm color grading, movie scene, cinematic lighting, RGB lighting, ray-tracing.

Так, по мнению нейросети, выглядят кадры из Resident Evil.
Так, по мнению нейросети, выглядят кадры из Resident Evil.

Для начала можно предоставить нейросети побольше свободы и попробовать сделать несколько кадров с минимальным описанием. Но так как мы делаем трейлер к фильму, то сразу стоит выставить кинематографичное соотношение сторон с помощью параметра --ar 16:9, тогда кадры идеально подойдут под широкоформатное видео.

Можно еще поэкспериментировать с версиями Midjourney (особенно между 5 и 5.1), а также использовать параметры chaos (--с) и stylize (--s):

  • chaos (--с) отвечает за разнообразие выдачи и варьируется от 0 до 100. Чем выше параметр, тем более разные получатся результаты.
  • stylize (--s) отвечает за то, насколько нейросеть будет следовать запросу. Он варьируется от 0 до 1000.

Чем выше параметр, тем больше творчества будет в результатах.

Если выставить параметр stylize на 750, то стиль режиссера угадывается сразу, но при чем тут Resident Evil, не совсем понятно.
Если выставить параметр stylize на 750, то стиль режиссера угадывается сразу, но при чем тут Resident Evil, не совсем понятно.

Когда вы найдете несколько удачных кадров, то с ними стоит поработать отдельно. Можно сделать апскейл или подготовить еще 4 варианта этого изображения. Кроме того, с удачными изображениями можно работать через параметр seed. Это своего рода набор вводных данных, которые генерируются случайно для каждого изображения.

Если использовать одинаковый запрос и одинаковый seed, то выходные результаты будут схожими. Посмотреть seed можно, если отправить на изображение реакцию в виде конверта.

Для задания стиля можно также использовать названия фильмов режиссера, например, Moonrise Kingdom или Hotel Grand Budapest. В последнем случае это будет особенно полезно для визуализации различных зданий.

Хогвартс в стиле отеля «Гранд Будапешт».
Хогвартс в стиле отеля «Гранд Будапешт».

Стоит учитывать, что нейросеть не всегда понимает стиль и эстетику определенных фильмов или игр. Некоторые произведения ей даются лучше, чем остальные. Многое, разумеется, зависит от популярности той или иной франшизы.

Как генерировать кадры с актерами

Для ключевых персонажей нужно сделать изображения, в которых их играют определенные актеры. Для этого нужно использовать запрос, в котором указано имя актера и персонажа. Пример: Willem Dafoe as Green Goblin.

Уиллем Дефо в роли Зеленого гоблина из «Человека-паука».
Уиллем Дефо в роли Зеленого гоблина из «Человека-паука».

Как правило, отлично подойдут изображения, где персонаж расположен в центре кадра и смотрит прямо в камеру. Midjourney зачастую делает именно такие изображения, но не всегда. Вероятно, придется давать ей подсказки (central perspective, symmetrical location и т. п.) или делать несколько попыток.

Также стоит проявить творчество и подсказать нейросети, какой фон лучше использовать, чтобы он подходил тому или иному персонажу.

Как анимировать изображения

Midjourney создает статичные изображения, поэтому для придания им более живого вида, придется использовать другие инструменты. Здесь понадобятся сервисы для создания озвучки, лицевой анимации и прочих 3D-эффектов.

Анимация лиц

Анимировать лицо помогут сервисы вроде MyHeritage, cutout.pro или d-id.com. Первые два помогут «оживить» персонажа — добавить мимику и движение головы. Последний сервис поможет персонажу заговорить.

  • MyHeritage — бесплатный сервис для «оживления» фото, но у него есть существенный недостаток. Дело в том, что сервис обрезает фотографию, оставляя только лицо крупным планом. Для трейлера это выглядит не очень впечатляюще, но на крайний случай пойдет. Также с его помощью вы сможете восстановить старое фото.
  • Cutout.pro сохраняет все изображение целиком, но в бесплатной версии будет наложен водяной знак и качество ограничено 360p.
Оценить работу сервиса можно по этому примеру
  • D-ID работает предельно просто. После регистрации (можно через аккаунт Google) загрузите нужное изображение и добавьте речь, которую должен произнести виртуальный персонаж. Можно вставить текст или загрузить заранее подготовленный аудиофайл. Русский язык поддерживается. Анимация персонажа синхронизируется с речью, есть липсинк. Сервис платный, но есть пробный период с ограниченным количеством генераций и наложением водяного знака.
Речь синхронизируется с движением губ виртуального персонажа

Обратите внимание, что персонажи в шлемах, масках или других элементах одежды, частично закрывающих лицо, анимируются плохо. В этом случае может потребоваться дополнительная обработка в видеоредакторе (это сложно, поэтому лучше избегать подобных ситуаций).

Спецэффекты и анимация

Проще всего анимировать воду, облака и другие подобные элементы пейзажа. Сделать это можно с помощью приложений, например, Movepic, Vimage или любого подобного.

Программа для монтажа

С его помощью можно легко анимировать небо или воду. Рассмотрим пример с анимированным небом:

  1. Перейдите в раздел Magic Sky для анимации неба.
  2. Выберите и примените один из эффектов, который подходит к изображению.
  3. Чтобы цвет неба сочетался с остальным изображением, примените цветовой фильтр (вкладка Filters в нижней части экрана).
  4. Нажмите на кнопку Export в правом верхнем углу, чтобы сохранить видео.
В бесплатной версии накладывается водяной знак

Остальные эффекты тоже делаются несложно. Для каждого из них в приложении предусмотрен свой раздел. К сожалению, не все опции доступны бесплатно.

Эффекты 3D

Используйте LeiaPix — сервис поможет придать изображению эффект объема. Зарегистрируйтесь (можно авторизоваться через аккаунт Google) и загрузите нужное изображение. Сервис обработает его и покажет результат. Например, можно создать иллюзию объема на примере изображения с Хогвартсом.

LeiaPix

В разделе Edit можно настраивать различные параметры, из которых стоит обратить внимание на:

  • Animation Length — продолжительность анимации.
  • Animation Style — стиль анимации (для панорамных видов лучше выбирать vertical — вертикальный).
  • Amount of Motion — насколько интенсивно будет двигаться изображение (лучше выбирать среднее или минимальное значение).

Далее нажмите на значок Share (поделиться) и выберите Save to your device (сохранить на устройство) в формате MP4.

Как создать движущийся объект

Чтобы создать движение, вам придется отдельно сгенерировать фон и сам объект, а затем наложить одно изображение на другое. Удалить фон можно автоматически при помощи сервиса pixlr.com.

Запрос: Ford Anglia 105E, front view, aerial, shot, central perspective, vintage, blue color, warm color grading, white background.
Запрос: Ford Anglia 105E, front view, aerial, shot, central perspective, vintage, blue color, warm color grading, white background.

Чтобы облегчить себе задачу, в запросе стоит указывать solid background (сплошной фон). В дальнейшем изображение с прозрачным фоном можно наложить поверх фона в видеоредакторе.

Запрос нейросети

Как смонтировать видео

Если вы не владеете на должном уровне профессиональными программами вроде Adobe Premiere Pro или Adobe After Effects, то подойдет любой видеоредактор, о некоторых из них мы писали в статье «Топ-25 лучших редакторов для монтажа видео».

Но проще всего сразу скачать CapCut (доступ на сайт только через VPN) — бесплатный видеоредактор, в котором разберется даже новичок. Есть как мобильные, так и десктопные версии.

solid background (сплошной фон)
Источник: Hi-Tech Mail
  1. Расположите подготовленные кадры на таймлайне.
  2. Обрежьте их до нужной продолжительности (нужно потянуть за край отрезка).
  3. Добавьте переходы при необходимости. Лучше их не использовать вообще, чтобы видео выглядело более профессионально (разве что несколько раз, там где будет уместно подчеркнуть динамику).
  4. Наложите текст. Используйте стилизованный шрифт имени режиссера (скачать можно тут) желтого цвета, чтобы соответствовать стилю режиссера.
  5. Нажмите «Экспорт», чтобы сохранить видео.
solid background (сплошной фон)
Источник: Hi-Tech Mail

Также можно сделать эффект плавного приближения для статичных кадров. Делается это следующим образом:

  1. Выделите видео или фотографию на таймлайне.
  2. Поставьте курсор в начало и добавьте ключевой кадр (keyframe).
  3. Добавьте ключевой кадр в конце отрезка и передвиньте ползунок «масштаб» (scale) на 120%.
  4. В результате получится отрезок видео с плавным приближением.

Также в видео можно добавить звук и музыку. Закадровую озвучку можно записать, используя синтезаторы речи на основе искусственного интеллекта. Для английского языка это может быть, например, elevenlabs.io, для русского — zvukogram, cybervoice.io или использовать уже упомянутый D-ID.

Что касается, музыки, то во многих видео, посвященных тренду, используется композиция Obituary, однако можно использовать и нейросети, например, сервисы для генерации музыки soundful, mubert.com.