Стартап PrismML выпустил новую языковую модель Bonsai 27B, которая может локально работать на iPhone, iPad и Mac. Об этом пишет 9to5Mac.
Компания привлекла внимание после публикации The Information, где сообщалось о переговорах PrismML с Apple по возможному использованию ее технологий. В материале также упоминалась модель Bonsai 27B, релиз которой был запланирован на июль.
По данным разработчиков, модель демонстрирует скорость до 163 токенов в секунду в 1-битном режиме и до 134 токенов в секунду в тернарном режиме на видеокарте NVIDIA GeForce RTX 5090. На компьютере с чипом M5 Max показатели достигают 87 и 58 токенов в секунду соответственно.
Главная особенность Bonsai 27B — возможность запуска на мобильных устройствах. В PrismML отмечают, что смартфоны имеют серьезные ограничения по памяти: даже iPhone с 12 ГБ оперативной памяти может выделить для работы модели около 6 ГБ, поскольку ресурсы также нужны для кэша и других процессов. По словам компании, версия Bonsai 27B размером около 4 ГБ стала первой моделью такого класса, которая может работать на смартфоне с запасом ресурсов.
Модель работает на устройствах Apple через фреймворк MLX, а на компьютерах с графическими процессорами NVIDIA — через CUDA. Исходные веса опубликованы под лицензией Apache 2.0, а разработчикам доступен временный бесплатный API для тестирования.
Глава PrismML Бабак Хассиби рассказал CNBC, что Apple и другие компании уже изучают технологии стартапа, оценивая скорость работы, энергоэффективность и производительность моделей на устройствах. При этом он отметил, что переговоры находятся на ранней стадии и пока неизвестно, к чему они приведут.