Facebook превращает реальных людей в управляемых игровых персонажей

Отдел разработки ИИ Facebook создал нейросеть под названием Vid2Play, которая умеет создавать игровых персонажей из реальных людей на видео. На выходе получается высокотехнологичная версия популярных в 90-е игр с «живыми» оцифрованными персонажами (FMV).
Григорий Матюхин

Нейронная сеть может анализировать видео с живыми людьми, выполняющими определенные действия, а затем воссоздавать такого же персонажа и его действия (например — танцы, теннис или фехтование) в любой обстановке, позволяя управлять им с помощью джойстика. Об этом пишет Engaget.

Фото: Facebook
Фото: Facebook

На первом этапе выявляются определенные типы действий людей на видео. Затем система отделяет человека вместе с его тенью и любыми объектами, которые он держит, от живого фона и вставляет их в новую сцену с минимальными артефактами. После этого вы можете управлять его движениями, основываясь на позах из видео, используя джойстик или клавиатуру.

Для тренировки системы потребовалось всего несколько коротких видеороликов о каждой игре — фехтовании, танцах и теннисе. Она смогла отфильтровать других людей и компенсировать различные углы камеры. Пока еще движения в виртуальном мире выглядят немного странно: персонажи как будто двигаются по льду, но это известная в 3D-анимации проблема. Кроме того, диапазон движения немного ограничен, но проект только набирает обороты.

В перспективе Vid2Game от Facebook сможет сделать игры более индивидуальными, позволяя, например, добавлять в игру своего собственного персонажа (себя или любого другого из видео), и приблизит создание видеоигр с фотореалистичной графикой. Персонажи, извлеченные из любых видео, смогут найти свое место в виртуальных мирах или дополненных реальностях.