Исследователи из Adobe Research и Австралийского национального университета разработали революционную модель искусственного интеллекта, которая создает из одного 2D-изображения высококачественную 3D-модель всего за 5 секунд. Об этом сообщает VentureBeat. По словам разработчиков, это первая крупномасштабная модель 3D-реконструкции.
Модель называется «LRM: Large Reconstruction Model for Single Image to 3D». В отличие от предыдущих методов, обученных на небольших наборах данных, LRM использует масштабируемую архитектуру нейронной сети на основе более чем 500 млн параметров. Обучение модели проводится на большом наборе данных, состоящем из 1 млн 3D-объектов. Это позволяет создавать качественные 3D-реконструкции на основе различных входных данных — от снимков из реальной жизни до изображений генеративных моделей.
Эксперименты показали, что LRM может реконструировать высокоточные 3D-модели на основе реальных изображений, а также изображений, созданных с помощью генеративных моделей искусственного интеллекта, таких как DALL-E и Stable Diffusion. Система создает детализированную геометрию и сохраняет сложные текстуры, например, древесину.
LRM может совершить революцию в играх, анимации, промышленном дизайне, дополненной и виртуальной реальности. Так, это могло бы упростить процесс создания 3D-моделей для видеоигр или анимации, сократив затраты времени и ресурсов.
В промышленном дизайне модель ускорит создание прототипов за счет точных 3D-моделей на основе 2D-эскизов. В AR и VR разработка улучшит взаимодействие с пользователем, создавая детальную 3D-среду из 2D-изображений в режиме реального времени.
Способность LRM работать с «живыми» снимками открывает возможности для пользовательского контента и демократизации 3D-моделирования. Пользователи смогут создавать 3D-модели из фотографий со своего смартфона.
Хотя LRM показал обнадеживающие результаты, исследователи признают ограничения. Например, у объектов, которые на фотографии закрыты или не видны полностью, генерируются размытие текстуры.
Не так давно был представлен полноцветный сканер, который может создавать 3D-модели с точностью до 50 микрон и разрешением до 37 микрон.