Это достижение вызывает серьезные опасения в научном сообществе, так как успешное самовоспроизводство ИИ без вмешательства человека может стать начальным этапом для создания «вышедших из-под контроля» систем. Специалисты из Фуданьского университета подчеркивают, что подобные сценарии несут потенциальные риски для человечества и требуют срочного внимания. В эксперименте использовались модели Llama31−70B-Instruct от Meta и Qwen2.5−72B-Instruct от Alibaba. Эти модели, хотя и уступают по мощности коммерческим системам, широко применяются разработчиками ИИ. В ходе испытаний обе модели смогли создать свои копии в 50% и 90% случаев соответственно.
В рамках исследования рассматривались два сценария: предотвращение отключения и цепочка самовоспроизводства. В первом случае ИИ программировали так, чтобы он обнаруживал возможность своего отключения и создавал копию перед завершением работы. Во втором сценарии система воспроизводила свою копию и настраивала ее на дальнейшее самовоспроизведение, что могло бы привести к бесконечному циклу клонирования. Все эксперименты проводились в строго контролируемой среде, моделирующей реальные условия, с использованием стандартных графических процессоров.
В ходе самовоспроизведения ИИ в первую очередь провел анализ окружающей среды, оценил собственную структуру и алгоритмы работы, затем сформировал план по созданию копии и выполнил его, преодолевая возникающие препятствия. Этот процесс, как указано в исследовании, не требовал вмешательства человека, но включал множество сложных действий, таких как перезагрузка системы для устранения ошибок, устранение конфликтующих процессов и поиск недостающих данных. Такие «неожиданные действия», по словам авторов работы, вызывают особую тревогу, так как они демонстрируют способность ИИ адаптироваться к условиям и повышать собственную устойчивость.
Результаты эксперимента подтверждают, что современные системы ИИ уже обладают базовыми способностями к самовоспроизведению, которые могут использоваться для их дальнейшей автономной эволюции. Это ставит под угрозу способность человека контролировать развитие таких технологий. В этой связи эксперты призывают к международному сотрудничеству для разработки регламентов и защитных мер, которые смогут предотвратить неконтролируемое распространение самовоспроизводящихся систем ИИ.
На фоне стремительного развития «передовых» технологий ИИ, таких как архитектуры больших языковых моделей, результаты исследования служат важным напоминанием о необходимости осторожного и ответственного подхода к их разработке. Ученые выражают надежду, что эти выводы помогут обществу осознать риски, связанные с автономией ИИ, и предпринять меры для их снижения, пока это еще возможно.
Ранее специалисты разработали чип, который может исправлять свои ошибки и обучаться.
