Как это работает
Нейросеть способна в режиме реального времени анализировать человеческую мимику и накладывать анимацию, которая отражает текущую эмоцию. Пока Magic распознает базовый набор эмоций – улыбку, грусть, злость и удивление. Также приложение определяет простые лицевые движения, к примеру, поцелуй.
Разработчики утверждают, что такой показатель достигается при анализе обычных пользовательских видео. Угол наклона головы и освещенность могут быть различными. Если уверенность в правильном распознавании эмоции превышает 70%, приложение накладывает анимацию.
Секрет – в применении алгоритмов глубокого обучения, которые обучили на сотнях тысяч реальных изображений. Кроме того, нейросеть анализирует не только изменение расположения ключевых точек на лице, но и его текстуры.
Все вычисления производятся непосредственно на смартфоне – Magic может работать без подключения к интернету. Видео с забавными анимациями можно делиться из Magic в социальных сетях и мессенджерах.
Пока есть версия только для iOS, скачать ее бесплатно можно в App Store. В июне выйдет версия для Android.
Напомним, в ICQ в видео-звонках и в фото-видео редакторе можно использовать маски. Здесь также применяются нейросетевые алгоритмы.
