Энтузиаст Нао Токуи (Nao Tokui) из Японии создал программу на основе нейросети, которая смогла подобрать подходящие звуки и музыку для озвучания художественных картин. Она, например, определила, что на картине изображено побережье, и включила звук морских волн.
В большинстве случаев программа точно подбирает звуки, посмотрите сами:
Как это работает
Программа работает на основе нейросети Soundnet. Она умеет определять объекты на видео, чтобы подбирать к ролику звуки. Например, если в нейросеть загрузить видео с собаками, то она добавит к нему собачий лай. Так же она работает с детьми, мотоциклами, музыкальными концертами, спортивными соревнованиями и любыми другими объектами.
Посмотрите видео, чтобы понять алгоритм работы нейросети:
Нао Токуи взял базу видеороликов из сервиса Flickr с художественными картинами и бесплатный каталог Freesound со звуками. Эти файлы он пропустил через готовую нейросеть Soundnet. Таким образом он придумал новое применение уже не новой нейросети.
