Компания Xiaomi показала прототип мини-компьютера AI Cube, предназначенного для локального запуска больших языковых моделей без обращения к облачным сервисам. Презентация прошла в рамках конференции XRING Chip Technology Communication Conference. Устройство пока остается демонстрационным образцом — сроки выхода на рынок и цена не раскрываются.
В основе AI Cube — три собственных чипа Xiaomi: XRING O3, XRING O100 и XRING D100. Главный вычислительный элемент системы — O3. Чип получил 10-ядерный процессор с архитектурой из «больших» ядер, 16-ядерный графический процессор G2-Ultra NX и нейропроцессор мощностью 200 TOPS, который отвечает за базовые ИИ-вычисления и запуск легких моделей.
За обмен данными между компонентами отвечает O100 — ускоритель, изготовленный по 6-нм техпроцессу с использованием технологии 3D-стекинга кристаллов. Чип содержит 28 672 линии передачи данных и обеспечивает пропускную способность до 1,22 ТБ/с, что позволяет системе быстро подгружать веса крупных моделей в память.
Третий чип, D100, изначально создавался для интеллектуальных систем управления автомобилем. В составе AI Cube он используется как источник дополнительных вычислительных ресурсов: 3-нм чип получил 20-ядерный процессор, 16-ядерный нейропроцессор и поддержку до 160 ГБ памяти.
Совместная работа трех чипов позволяет запускать локально модели с числом параметров от 3 до 120 миллиардов, а также переключаться между быстрым и медленным режимами работы в зависимости от сложности задачи.
Корпус AI Cube выполнен из авиационного алюминия единым блоком и содержит 33 874 прецизионных отверстия, выполненных методом ЧПУ-обработки для охлаждения. Система рассчитана на постоянное рассеивание тепла при энергопотреблении до 150 Вт.
Цена и дата выхода AI Cube пока неизвестны. Xiaomi не уточнила, станет ли устройство коммерческим продуктом или так и останется технологической демонстрацией возможностей собственных чипов.