Исследователи Корнеллского университета разработали две технологии, которые отслеживают взгляд и выражение лица человека с помощью датчиков, подобных сонару. Эта технология достаточно миниатюрная, чтобы ее можно было использовать в коммерческих смарт-очках или гарнитурах виртуальной или дополненной реальности. При этом новое решение потребляет намного меньше энергии, чем аналогичные инструменты, использующие камеры, сообщает TechXplore.
Обе технологии задействуют динамики и микрофоны, установленные на оправе очков, чтобы отражать неслышимые звуковые волны от лица и улавливать отраженные сигналы, вызванные движениями лица и глаз. Одно из устройств, GazeTrak, представляет собой первую систему слежения за взглядом, основанную на акустических сигналах. Вторая, EyeEcho, непрерывно и точно распознает выражения лица и воссоздает их с помощью аватара в режиме реального времени.
Устройства могут работать несколько часов от батареи умных очков и более суток от гарнитуры VR.
Для GazeTrak исследователи разместили один динамик и четыре микрофона вокруг внутренней части оправы очков, чтобы отражать и улавливать звуковые волны от глазного яблока и области вокруг глаз. Полученные звуковые сигналы подаются в настроенный конвейер глубокого обучения, который использует искусственный интеллект для непрерывного определения направления взгляда человека.
В EyeEcho один динамик и один микрофон расположены рядом с петлями очков и направлены вниз, чтобы улавливать движения кожи при изменении выражения лица. Отраженные сигналы также интерпретируются с помощью ИИ.
Благодаря этой технологии пользователи смогут совершать видеозвонки без помощи рук через аватар даже в шумном кафе или на улице. Также можно воссоздать детальное выражение лица и движения взгляда в виртуальной реальности, чтобы лучше взаимодействовать с другими пользователями. Хотя некоторые умные очки способны распознавать лица или различать несколько конкретных выражений, они не отслеживает выражения постоянно, как EyeEcho.
Помимо VR, GazeTrak можно использовать для чтения фрагментов текста людям с плохим зрением при просмотре веб-сайта. GazeTrak и EyeEcho также потенциально могут помочь диагностировать или контролировать нейродегенеративные заболевания, такие, как болезнь Альцгеймера и Паркинсона. При этих состояниях у пациентов часто наблюдаются аномальные движения глаз и менее выразительная мимика.
Ранее были представлены смарт-очки Frame с прозрачными экранами. Они стоят в десятки раз дешевле Apple Vision Pro, а выглядят гораздо более стильно.
