Исследователи разработали метод создания 3D-сцен на основе одного изображения. Эта технология позволяет погружаться в виртуальные миры с помощью VR-гарнитуры. Генерация сцены строится на обработке изображения с использованием нейросетей и алгоритмов, которые воссоздают недостающие детали и формируют объемное пространство.
В основе процесса лежит два этапа. Сначала генерируется панорамное изображение с помощью предварительно обученной модели. Эта модель анализирует исходную картинку, дорисовывает края и формирует полный круговой обзор. Затем полученная панорама переводится в трехмерное пространство с помощью алгоритма оценки глубины. Он определяет, какие объекты находятся ближе, а какие дальше, создавая эффект объема.
Одна из главных сложностей при таком подходе — обработка невидимых областей. Части сцены, которые не попали в оригинальный кадр, приходится достраивать с учетом окружающего контекста. Для этого используется алгоритм, который анализирует рендеры облаков точек и адаптируется под конкретные условия сцены. В результате удается получить более реалистичное окружение без заметных артефактов.
Для финального шага применяется метод под названием Gaussian Splats. Он помогает скорректировать мелкие искажения и улучшить детализацию объектов. Полученная сцена становится доступной для просмотра в виртуальной реальности, позволяя пользователям свободно перемещаться в пределах небольшого куба размером два метра.
Подход отличается от традиционных методов генерации видео. Многие из них способны лишь на короткие ролики, которые не дают полноценного эффекта присутствия. В то время как новая технология позволяет получить целостное пространство с возможностью обзора во всех направлениях.
Этот метод может найти применение в играх, кино, архитектуре и образовании. Возможность воссоздавать 3D-сцены по одному изображению значительно упрощает работу дизайнеров и разработчиков контента, открывая новые горизонты для цифрового творчества.
NVIDIA Instant NeRF тоже использует искусственный интеллект для быстрого преобразования 2D-фото в объемные модели, а Google применяет алгоритмы машинного обучения, чтобы дорисовывать невидимые части сцены и правильно определять глубину объектов. Adobe добавляет такие функции в свои инструменты, помогая дизайнерам превращать обычные изображения в 3D-графику.
Ранее мы писали о том, как новое устройство имитирует прикосновения в виртуальной реальности.
* Meta признана экстремисткой организацией в России
