Компания X Илона Маска запустила самую мощную в мире систему обучения искусственного интеллекта Colossus, которая использует сразу 100 000 графических процессоров NVIDIA H100. Но самое интересное, что в ближайшие месяцы вычислительные мощности будут увеличены вдвое — добавятся по 50 000 видеокарт серий H100 и H200. Примечательно, что развертывание комплекса заняло всего 122 дня, благодаря участию Dell.
На данный момент все кластеры суперкомпьютера формально работают и даже обучают некоторые модели ИИ, но совершенно не ясно, на сколько процентов загружена система. Все-таки, специалистам явно требуется время на отладку и оптимизацию настроек, да и компания X должна найти постоянную достаточную мощность для питания. По предварительным оценкам только 100 тысяч чипов H100 нуждаются в 70 МВт энергии, что уж говорить про дополнительные видеокарты H200.
Главный вопрос, зачем Илону и его компании X подобный суперкомпьютер, ведь у них уже есть кластер Memphis с таким же количеством графических процессоров. Что уж говорить про недавно анонсированную систему Cortex AI на 50 тысяч чипов NVIDIA и еще 20 тысяч Tesla Dojo AI. На самом деле, обучение больших языковых моделей требует невероятное количество вычислительных сил. Так Grok 2 использовал около до 20 000 видеокарт H100, а следующее поколение «съест» еще больше ресурсов.
Кстати об упомянутом суперкомпьютере Cortex. В конце августа Илон Маск поделился коротким роликом с «интерьером» системы и рассказал о ее будущем — сотни тысяч процессоров займутся обучением искусственного интеллекта для роботакси.