Почему AR-сервисы плохо работают на смартфонах

Эксперименты с телефонами выявили основные ошибки, которые возникают при работе с AR-приложениями. Рассказываем, какие преграды «ломают» дополненную реальность на смартфонах.
Автор новостей
Дополненная реальность
Источник: Unsplash

Приложения с опциями дополненной реальности можно установить на многие современные телефоны. Подобные сервисы помогают увидеть, как будет выглядеть новая мебель в доме до ее покупки. Еще AR-функции нужны, чтобы лучше ориентироваться в картах или играть в интерактивные игры. Ученые из Университета Осаки выяснили, в каких ситуациях подобные приложения могут работать нестабильно, пишет Tech Xplore. 

Ученые провели серию экспериментов со смартфонами и определили основные проблемы, которые возникают при использовании приложений с дополненной реальностью на мобильных устройствах. Шунпей Ямагучи, ведущий автор исследования, объясняет: «Чтобы дополнить реальность, смартфону нужно знать две вещи. А именно, где он находится, что называется локализацией, и как он движется, что называется отслеживанием».

Смартфон использует две основные системы для работы с дополненной реальностью: визуальные датчики (камеру и LiDAR) для поиска ориентиров, таких как QR-коды или AprilTags в окружающей среде, и инерциальный измерительный блок (IMU) — небольшой датчик внутри телефона, который измеряет движение.

Тестирование AR-функций на смартфонах.
Тестирование AR-функций на смартфонах.Источник: 2024 Yamaguchi et al.

Чтобы лучше разобраться в особенностях работы систем, группа ученых провела 113 часов экспериментов и тематических исследований. В ходе тестов, в которых нужно было расставить определенные предметы в режиме дополненной реальности, они отключали часть датчиков смартфонов, а также изменяли особенности среды и освещения. 

«Мы обнаружили, что виртуальные элементы имеют тенденцию "дрейфовать" в сцене, что может привести к укачиванию и снижению чувства реальности», — говорит Сюнсукэ Саруватари, старший автор исследования. Результаты исследования также показали, что телефону трудно обнаружить визуальные ориентиры издалека, под большими углами или в темных помещениях. LiDAR не всегда работает хорошо. Кроме того, у IMU есть ошибки на высоких и низких скоростях, которые со временем имеют тенденцию накапливаться.

Примеры сбоев.
Примеры сбоев.Источник: 2024 Yamaguchi et al.

Решением всех проблем станет использование локализации на основе радиочастот, например, сверхширокополосных сигналов UWB. Технология UWB похожа на Wi-Fi и Bluetooth. На ее основе работают метки Apple AirTag и Galaxy SmartTag+. Радиочастотная локализация меньше зависит от освещения, расстояния или прямой видимости, что позволяет избежать трудностей с определением QR-кодов или ориентиров AprilTag.

Ученые полагают, что в будущем UWB и альтернативные методы обнаружения, такие как ультразвук, Wi-Fi, BLE или RFID, в случае их совместного использования с технологиями распознавания приведут к значительному улучшению приложений дополненной реальности.

Тем временем в России создали очки дополненной реальности для проверки транспорта. Рассказали, кто их получит и что известно о разработке.