Runway анонсировала выход Act-One — нового ИИ для генерации video-to-video контента

Нейросеть умеет считывать мимику и жесты пользователя

Компания Runway, известная своими инновациями в сфере генеративных медиа, объявила о запуске нового инструмента Act-One в рамках ИИ-модели Gen-3 Alpha. Это инструмент для создания выразительных анимаций персонажей использует видео и голосовые выступления в качестве исходных данных. 

Одним из ключевых отличий Act-One от традиционных подходов к анимированному контенту является отказ от сложных и многоэтапных рабочих процессов. Обычно для лицевой анимации используют системы захвата движения, множество референсных кадров и ручную оснастку. Всё это требует серьезных технических ресурсов, чтобы перенести игру актера на 3D-модель, что особенно важно в анимационном конвейере. Однако, такие методы нередко теряют эмоциональные нюансы референсных кадров, что отражается на конечном качестве видео.

Act-One предлагает принципиально новый подход. Модель работает исключительно на основе актерской игры, без необходимости использования дополнительного оборудования, что значительно упрощает процесс анимации. Такой подход позволяет сохранять реалистичные мимические выражения и точно передавать эмоции даже на персонажах, чьи пропорции сильно отличаются от исходного видео. 

нейросеть для видео

А еще Act-One может создавать кинематографичные и реалистичные сцены, сохраняя высокое качество анимации лиц персонажей под любым углом камеры. Это дает художникам возможность разрабатывать правдоподобных персонажей, которые обладают подлинными эмоциями и могут вызывать отклик у зрителя. 

Новый инструмент оснащен механизмами, предотвращающими создание контента с использованием публичных персон. Кроме того, предусмотрены технические меры для проверки, что пользователи имеют право на использование созданных голосов с помощью функции Custom Voices.  

Разработчики с нетерпением ждут, как творческое сообщество отреагирует на новый инструмент. Act-One — это ещё один шаг на пути к тому, чтобы сложные методы анимации стали доступны для более широкой аудитории создателей и художников. Теперь каждый сможет воплотить свои замыслы в жизнь с помощью инновационных технологий, которые упрощают создание качественного анимационного контента.

Доступ к Act-One начнет постепенно открываться для пользователей уже сегодня, и вскоре этот инструмент станет доступен всем желающим.

Читайте также нашу статью о новом ИИ генераторе для видео и звука.