Исследовательская команда Apple представила два новых инструмента искусственного интеллекта, которые могут существенно расширить возможности экосистемы Apple Intelligence. Модели Matrix3D и StreamBridge, описанные в недавних публикациях на официальном блоге Machine Learning, демонстрируют серьезный прогресс компании в области компьютерного зрения и обработки видео.
Matrix3D представляет собой универсальную модель для фотограмметрии — технологии создания трехмерных объектов из двумерных изображений. В отличие от традиционных методов, требующих сотни снимков, Matrix3D справляется с задачей, используя всего 2−3 фотографии. Это значительно упрощает процесс и открывает новые возможности для пользователей.
Технология работает по принципу «все в одном», объединяя несколько этапов в единый процесс. Модель одновременно определяет глубину, положение объектов и синтезирует новые ракурсы благодаря унифицированной архитектуре. Такой подход не только ускоряет работу, но и повышает точность результатов.
При обучении Matrix3D разработчики использовали стратегию маскированного обучения. Модель тренировалась на частично заполненных данных о глубине и положении изображений, что заставляло ее самостоятельно восстанавливать недостающую информацию. Этот метод значительно улучшил способность системы работать с ограниченным количеством исходных данных.
Вторая модель, StreamBridge, фокусируется на работе с видео с инструментами, направленными на потоковый контент. StreamBridge анализирует видеопоток в реальном времени, отвечает на вопросы о происходящем и даже предлагает рекомендации без специальных запросов.
В демонстрационных примерах Apple показала, как модель отвечает на вопросы о событиях в видео, определяет местоположение и идентифицирует объекты. Более впечатляющая функция — проактивные инструкции. Например, система может давать пошаговые рекомендации во время рисования, не дожидаясь запроса от пользователя.
Хотя компания пока не анонсировала конкретные продукты на базе этих технологий, можно предположить их интеграцию в будущие обновления Apple Intelligence. StreamBridge может усилить возможности Siri или приложения «Камера», а Matrix3D — улучшить функциональность Apple Vision Pro и его преемников.
Также стало известно еще об одной разработке компании — звуковой терапии в Apple Music. Рассказали об этом в статье.
