Представлен новый ИИ-генератор видео и звука Movie Gen: что умеет

У продукта практически безграничные возможности. Можно создать ролик на любой вкус и цвет.

Компания Meta* представила свой мощный генератор видео, а также аудио на базе искусственного интеллекта — Movie Gen. Особенностью нейросети является то, что она способна не просто генерировать ролики высокой четкости с различными соотношениями сторон, но и решать сложные VFX-задачи. Например, замена окружения (фона) в видео, добавление декораций, перемещение персонажей, удаление предметов, генерация аудиосопровождения. И всё это с качеством на уровне Sora от OpenAI с возможностью загрузки собственных фото в генерируемые ролики, а также пользовательских звуков и текстовых описаний.

Работает Movie Gen на базе искусственного интеллекта Llama Image. После создания видеоролика доступно множество функций. Авторы смогут дорабатывать сгенерированные видеоматериалы при помощи собственной озвучки, изменения цвета предметов, добавления недостающих элементов и т. д. Возможности практически неограниченны. При этом в самой Meta* утверждают, что их продукт является самым быстрым, эффективным и производительным среди конкурентов. Это подтверждают и результаты стандартизированного механизма тестирования ИИ-моделей.

Что касается характеристик, то «на гора» Movie Gen выдает ролики с максимальной продолжительностью 16 секунд с частотой 24 кадр/с. Как сообщается, ИИ-генератор видео состоит из 30 млрд параметров, а Movie Gen Audio — из 13 млрд настроек. Продукт пока недоступен для скачивания — его нет в открытом доступе, но компания обещает «потенциальный будущий релиз».

Ранее мы рассказывали об отечественной нейросети, которая научилась генерировать реалистичные видео.

*Meta признана экстремистской организацией в России и запрещена