Нейронная сеть может анализировать видео с живыми людьми, выполняющими определенные действия, а затем воссоздавать такого же персонажа и его действия (например — танцы, теннис или фехтование) в любой обстановке, позволяя управлять им с помощью джойстика. Об этом пишет Engaget.
На первом этапе выявляются определенные типы действий людей на видео. Затем система отделяет человека вместе с его тенью и любыми объектами, которые он держит, от живого фона и вставляет их в новую сцену с минимальными артефактами. После этого вы можете управлять его движениями, основываясь на позах из видео, используя джойстик или клавиатуру.
Для тренировки системы потребовалось всего несколько коротких видеороликов о каждой игре — фехтовании, танцах и теннисе. Она смогла отфильтровать других людей и компенсировать различные углы камеры. Пока еще движения в виртуальном мире выглядят немного странно: персонажи как будто двигаются по льду, но это известная в 3D-анимации проблема. Кроме того, диапазон движения немного ограничен, но проект только набирает обороты.
В перспективе Vid2Game от Facebook сможет сделать игры более индивидуальными, позволяя, например, добавлять в игру своего собственного персонажа (себя или любого другого из видео), и приблизит создание видеоигр с фотореалистичной графикой. Персонажи, извлеченные из любых видео, смогут найти свое место в виртуальных мирах или дополненных реальностях.
Читайте также: Драконов не существует?! Как создавали сериал «Игра престолов»