Еще в мае появилась инфрмация о «Гигафабрике вычислений» от Илона Маска, которая начнет работу следующей осенью. По задумке, это огромный дата-центр с самым производительным суперкомпьютером в истории. В основу него, кстати, должны встать уже не самые новые ускорители Nvidia H100, что вызвало много вопросов к предпринимателю. Все-таки, до конца 2024 года, на рынок выйдут улучшенные H200 или B100 и B200 поколения Blackwell.
Но все вопросы отпали после сообщения от Маска. Оказывается, запуск самого мощного в мире кластера xAI в Мемфисе уже произошел — 22 июля в 4:20 утра по североамериканскому центральному времени. Об этом заявил сам предприниматель. А после уточнил, что займется обучением своего ИИ, который обгонит всех конкурентов уже к декабрю этого года. Вероятно, речь идет об алгоритме Grok 3.
«Система на 100 000 процессорах H100 с жидкостным охлаждением на единой RDMA-шине стала самым мощным кластером для обучения искусственного интеллекта в мире»
Для сравнения вспомним о других самых крупных суперкомпьютерах. Первое место на данный момент занимает Frontier из Ок-Риджской национальной лаборатории США, построенный на базе 27 888 ускорителей AMD. За ним следует Aurora на 60 000 чипах Intel, а замыкает тройку Microsoft Eagle — 14 400 H100 от Nvidia.
Интересный факт. На днях миллиардер рассказал, когда компания Tesla начнет массовое производство человекоподобных роботов. Судя по сообщению, планы немного поменялись.