Исследователи из Технологического университета Сиднея разработали умные очки, которые преобразуют визуальную информацию в уникальные звуковые представления, сообщает New Atlas. Это улучшит способность незрячих и слабовидящих людей ориентироваться в окружающей среде.
Умные очки обычно используют компьютерное зрение и другую сенсорную информацию для перевода окружающей среды пользователя в компьютерно-синтезированную речь. Однако технология «акустического касания» озвучивает объекты, создавая уникальные звуковые представления, когда они попадают в поле зрения устройства. Например, шелест листьев может означать растение, а жужжание — мобильный телефон.
Исследователи разработали умные очки под названием Foveated Audio Device (FAD), вдохновившись эхолокацией, которую используют летучие мыши. Подобно тому, как летучие мыши излучают звуковую волну, которая отражается от объектов и возвращает эхо, FAD также используют звук для получения информации о размере объекта и расстоянии.
FAD состоял из очков дополненной реальности и смартфона OPPO Find X3 Pro на базе операционной системы Android. Управление аудио-входом и отслеживание движений камеры и головы в очках осуществлялось с помощью игрового движка Unity Game Engine 2022. Это позволяло FAD преобразовывать объекты в отдельные звуковые иконки при их попадании в поле зрения устройства.
Ученые протестировали очки на 14 взрослых участниках, семь из которых были незрячими или слабовидящими. Еще семь были зрячими участниками с завязанными глазами и выступали в качестве контрольной группы. Исследование состояло из этапа обучения; задания сидя, в котором очки использовались для сканирования и озвучивания предметов на столе; и задания стоя, в котором изучалась эффективность устройства, когда участники шли и искали предмет в загроможденной среде. Использовались четыре предмета: миска, книга, чашка и бутылка.
Носимое устройство значительно улучшило способность людей распознавать объекты и дотягиваться до них без особых умственных усилий. Результаты показывают, что «акустическое прикосновение» может стать портативным и эффективным методом сенсорной обратной связи для людей с ослабленным зрением.
После некоторых доработок технология акустического касания может стать важной частью асисстивных технологий.
На рынке появляется все больше смарт-очков с различным функционалом. Так, недавно Huawei выпустила смарт-очки с шумоподавлением и автономностью 11 часов. У девайса улучшенное сенсорное управление с поддержкой жестов и более современными опциями.