Группа исследователей из Калифорнийского университета в Беркли объявила в X, что им удалось воссоздать ключевые функции продвинутых языковых моделей всего за 30 долларов, то есть около 3 тыс. рублей. Они использовали компактный подход к обучению, что поставило под вопрос необходимость гигантских дата-центров и колоссальных вычислительных мощностей для разработки нейросетей.
Как удалось создать ИИ-модель за копейки
Исследовательская группа под руководством аспиранта Цзяи Пана решила проверить, возможно ли построить аналог сложных языковых моделей без значительных финансовых вложений. Они разработали нейросеть под названием TinyZero, которая обучалась на простой числовой игре. Первоначально модель генерировала случайные результаты, но со временем научилась анализировать данные, корректировать ошибки и улучшать свои предсказания благодаря методам обучения с подкреплением.
Команда утверждает, что их эксперимент показывает эффективность минималистичных решений. В отличие от DeepSeek R1-Zero, который уже наделал шума в индустрии своим скромным бюджетом в 5 млн долларов, TinyZero обошелся в десятки тысяч раз дешевле, но все же продемонстрировал работоспособность.
Однако, несмотря на успех TinyZero, он остается экспериментом. У модели всего 3 млрд параметров, что значительно меньше по сравнению с передовыми нейросетями. Например, у DeepSeek их больше 600 млрд.
Что это значит для индустрии ИИ
До недавнего времени разработка нейросетей была привилегией крупных технологических корпораций, обладающих огромными ресурсами. OpenAI, Google и Microsoft инвестировали миллиарды долларов в построение сложных моделей, требующих мощнейших серверных кластеров и специализированных процессоров. Однако появление проектов вроде DeepSeek R1-Zero, а теперь и TinyZero, доказывает, что альтернативные подходы могут быть не только возможны, но и эффективны.
Этот эксперимент уже породил волну вопросов в комментариях к посту. Их главные тезисы: «Если рабочие языковые модели можно создавать за символические суммы, почему крупнейшие компании тратят на это колоссальные бюджеты. Является ли это стратегической необходимостью или следствием корпоративной инерции?»
TinyZero — новый шаг в открытых исследованиях ИИ
Исследователи открыли исходный код своей модели, разместив его в свободном доступе на GitHub. Они надеются, что этот проект вдохновит других разработчиков и поможет демистифицировать область масштабирования обучения нейросетей.
Тем не менее даже такой результат показывает, что индустрия ИИ развивается не только за счет крупных корпораций, но и благодаря энтузиастам, готовым искать новые пути. Вопрос теперь стоит не в том, можно ли сделать рабочую нейросеть дешево, а в том, насколько эффективными окажутся такие подходы в долгосрочной перспективе.
Парад релизов новых нейросетей не прекращается. OpenAI выпустила совершенно новую модель — o3-mini. Рассказали о ее возможностях в статье.
