Просто магия: Magic распознает эмоции в режиме реального времени

Российские разработчики создали приложение Magic. Это первое приложение, которое помощью нейросетей способно распознать эмоцию на лице. Чтобы показать результат, Magic накладывает на изображение соответствующую анимацию.

Как это работает

Нейросеть способна в режиме реального времени анализировать человеческую мимику и накладывать анимацию, которая отражает текущую эмоцию. Пока Magic распознает базовый набор эмоций – улыбку, грусть, злость и удивление. Также приложение определяет простые лицевые движения, к примеру, поцелуй.

Разработчики утверждают, что такой показатель достигается при анализе обычных пользовательских видео. Угол наклона головы и освещенность могут быть различными. Если уверенность в правильном распознавании эмоции превышает 70%, приложение накладывает анимацию.

Секрет – в применении алгоритмов глубокого обучения, которые обучили на сотнях тысяч реальных изображений. Кроме того, нейросеть анализирует не только изменение расположения ключевых точек на лице, но и его текстуры.

Точность распознавания в реальных условиях – 85%

Все вычисления производятся непосредственно на смартфоне – Magic может работать без подключения к интернету. Видео с забавными анимациями можно делиться из Magic в социальных сетях и мессенджерах.

Пока есть версия только для iOS, скачать ее бесплатно можно в App Store. В июне выйдет версия для Android.

Напомним, в ICQ в видео-звонках и в фото-видео редакторе можно использовать маски. Здесь также применяются нейросетевые алгоритмы.