Не картинками едиными: нейросеть Adobe Firefly учится работать с аудио и видео

Adobe анонсировала на выставке Национальной ассоциации телерадиовещателей несколько новых фишек своего софта, в том числе появление нейросети Firefly в Adobe Photoshop, Adobe Illustrator, Premier Pro, а также ряде других программ, в том числе Audition.

Пример работы функций нейросети Adobe Firefly в Premier Pro. Видео: Adobe

Компания делает особый упор на применение Firefly в работе с видео. Уже сейчас нейросеть может:

Менять цветовые схемы изображения, отображаемое на картинке время суток или даже времена года в уже записанных видеороликах. Причем делается это посредством ввода простой команды, например «сделай эту сцену теплой и привлекательной»;
Генерировать и интегрировать в ролик продвинутую музыку и звуковые эффекты. Пользователи могут создавать музыку и звуки без отчисления каких-либо роялти;
Потрясающие шрифты, анимации и визуальные эффекты для текста. За несколько секунд, введя описание интересующего пользователя эффекта, в том числе в After Effects, нейросеть применит его к написанному тексту.

Пример работы Firefly в Adobe After Effects. Видео: Adobe

Создавать сценарии и целые видеозаписи на их основе. Искусственный интеллект легко преобразует текст в раскадровки и эскизы визуализаций, а также дает рекомендации для чернового или окончательного монтажа видеозаписи;

Искусственный интеллект может даже учить пользователя, давая ему персонализированные инструкции, созданные на базе искусственного интеллекта. С помощью Firefly можно овладеть новыми навыками монтажа и ускорить процесс создания роликов.

Новые генеративные алгоритмы будут внедряться в программы для обработки аудио, видео, фотографий и иллюстраций до конца этого года.

Напомним, ранее мы рассказывали о том, как китайские ученые интегрировали нейросеть в управление спутником зондирования Земли.

Это тоже интересно: