По стандартным требованиям для запуска этой модели нужно минимум 60 ГБ памяти, а в несжатом виде она запрашивает уже 240 ГБ оперативной памяти. Энтузиаст обошел ограничение двумя способами. Сначала применил 4-битную квантизацию — технику сжатия, при которой веса модели хранятся с пониженной точностью: это уменьшает занимаемую память примерно в четыре раза. Затем распределил получившиеся 47 ГБ между несколькими машинами вместо одной.
В роли вычислительного парка выступили Samsung Galaxy S24+, мини-ПК с видеокартой RTX 3060 (12 ГБ видеопамяти), ноутбук под Windows с 12 ГБ оперативной памяти, MacBook Pro на чипе Intel, Mac mini и MacBook Pro на M3. Устройства объединились через домашнюю сеть с помощью конвейерной параллельности: слои модели — блоки, из которых складывается «мышление» нейросети, — обрабатываются последовательно разными машинами, как детали на производственном конвейере. Основная машина с именем Tiny взяла на себя наибольший объем — около 28,7 ГБ данных.
Скорость оказалась предсказуемо скромной: 1,1 токена в секунду, примерно одно слово в секунду. На предложение из двадцати слов уходит около двадцати секунд. Wccftech прямо называет результат «творческим доказательством концепции»: он подтверждает принципиальную возможность распределенного запуска крупных языковых моделей без специализированного оборудования, но для реального повседневного использования такой темп непригоден.
При этом сам факт примечателен: модели такого масштаба традиционно требуют одного-двух профессиональных GPU с объемом памяти от 80 ГБ каждый. OpenAI опубликовала gpt-oss-120b в открытом доступе для задач высокого уровня рассуждения без привязки к облачным сервисам. Вскоре после публикации весов сообщество энтузиастов принялось за эксперименты с запуском модели на самом неожиданном железе — и эксперимент Medicine_Blogscanner тому подтверждение.
Ранее мы рассказывали о Laya — открытой языковой модели с возможностью локального запуска, которую авторы представили как бесплатную альтернативу закрытым аналогам.