Развитие технологий искусственного интеллекта вышло на плато, что стало неожиданной новостью для многих. Прорывные успехи GPT-4 и его предшественников могли бы дать основания для уверенности в дальнейших крупных достижениях, но, по данным отчета The Information, новая версия ChatGPT под кодовым именем Orion показала лишь незначительные улучшения по сравнению с прошлой моделью. Ожидаемый скачок в производительности не оказался впечатляющим, особенно в области программирования.
Основной проблемой для OpenAI и других компаний, которые развивают ИИ, стало исчерпание качественных данных для обучения. Чтобы подготовить модели, как GPT, требуется огромный массив текстов и другой информации. За последние годы разработчики использовали доступные данные из соцсетей и интернет-ресурсов, таких как X (бывший Twitter) и YouTube. Однако как только эти источники были исчерпаны, обучать ИИ стало намного сложнее — получить доступ к данным, которые бы позволили значительно повысить качество работы, оказалось нелегко. Это создало «узкий проход», через который новые ИИ-модели вынуждены продвигаться медленнее, чем это было раньше.
Сложившаяся ситуация ведет к техническим, экологическим и экономическим последствиям. Новейшие модели искусственного интеллекта, у которых сотни миллиардов или даже триллионы параметров, требуют колоссальных объемов электроэнергии и воды. Ожидается, что потребности таких центров обработки данных вырастут примерно в шесть раз за ближайшие десять лет. Примеры тому уже есть: Microsoft договорилась о поставках из АЭС «Три-Майл-Айленд», а Amazon и Google делают инвестиции в атомную энергетику, чтобы обеспечить ресурсы для своих центров данных. Инфраструктура энергоснабжения на уровне стран не успевает за такими запросами, что приводит к потенциальной угрозе перебоев в снабжении электричеством для обычных пользователей.
Чтобы справиться с нехваткой данных для обучения и ростом ресурсов, OpenAI начала разрабатывать альтернативные подходы. Одним из них может стать создание так называемых синтетических данных, когда ИИ тренируют на специально смоделированных примерах. Такую методику уже успешно применяет компания Nvidia. Кроме того, OpenAI создала специальную команду, которая занимается оптимизацией моделей и их развитием на новых типах данных. Эти меры помогут частично решить проблему, однако их эффективность еще предстоит проверить на практике.
Прогнозы пока не дают поводов для излишнего оптимизма. Планы по выпуску Orion переносятся как минимум на 2025 год, и неясно, удастся ли компании преодолеть все технические и инфраструктурные сложности к тому времени. Для индустрии искусственного интеллекта такие изменения означают необходимость искать новые способы обучения и разработки моделей, а также пересматривать подходы к использованию и распределению ресурсов.
В целом, несмотря на временное замедление, эксперты полагают, что в долгосрочной перспективе ИИ-индустрия сможет адаптироваться к новым условиям и продолжить свое развитие. Такого же мнения придерживается и Марк Цукерберг. В этом месяце стало известно, что он построил самую большую систему для обучения ИИ.