Нейросеть научили «озвучивать» картины художников

Энтузиаст Нао Токуи (Nao Tokui) из Японии создал программу на основе нейросети, которая смогла подобрать подходящие звуки и музыку для озвучания художественных картин. Она, например, определила, что на картине изображено побережье, и включила звук морских волн.

В большинстве случаев программа точно подбирает звуки, посмотрите сами:

Контент недоступен

Как это работает

Программа работает на основе нейросети Soundnet. Она умеет определять объекты на видео, чтобы подбирать к ролику звуки. Например, если в нейросеть загрузить видео с собаками, то она добавит к нему собачий лай. Так же она работает с детьми, мотоциклами, музыкальными концертами, спортивными соревнованиями и любыми другими объектами.

Посмотрите видео, чтобы понять алгоритм работы нейросети:

Во время загрузки произошла ошибка.

Нао Токуи взял базу видеороликов из сервиса Flickr с художественными картинами и бесплатный каталог Freesound со звуками. Эти файлы он пропустил через готовую нейросеть Soundnet. Таким образом он придумал новое применение уже не новой нейросети.

Читайте также: В России заработал первый в мире робот-юрист и Нейросеть научилась создавать фейковое порно со Скарлетт Йоханссон

Обзоры новинок
Подробности о главных премьерах
Обнаружили ошибку? Выделите ее и нажмите Ctrl+Enter.
Подпишитесь на нас