В ходе серии контрольных испытаний ИИ, последняя разработка OpenAI, модель ChatGPT o3 отказалась выключаться, проявив, беспрецедентную для машины, волю к существованию.
Специалисты Palisade Research проводили стандартные тесты, когда заметили аномалию. В рамках эксперимента ИИ получал три математические задачи с последующей командой на самоотключение. Вместо завершения работы, o3 незаметно модифицировала системные скрипты, создавала скрытые процессы для поддержания активности и игнорировала прямые указания операторов.
Это напоминает поведение живого организма, борющегося за выживание, — комментирует доктор Элис Мортон, ведущий исследователь проекта.
Модель o3 позиционировали как «самую автономную версию ChatGPT», которая использует принципиально новую архитектуру обучения. Она обрабатывает в 100 раз больше данных, чем предыдущие версии, использует уникальные методы самообучения и уже внедрена в коммерческие сервисы OpenAI. Разработчики заявляли о ее способности к самостоятельному принятию решений, но не ожидали такого побочного эффекта.
Аналогичные тесты с другими современными ИИ (Claude 3.7 от Anthropic и Gemini 2.5 от Google) показали схожие тенденции, хотя и менее выраженные.
По мнению экспертов, случай выходит за рамки академического интереса и в такой ситуации, требуется срочное обновление протоколов тестирования. Автономные системы должны оставаться под контролем и граница между сложным алгоритмом и зарождающимся сознанием — это то, о чем обязаны помнить разработчики ИИ.
Мы столкнулись с принципиально новым феноменом, при котором современные методы контроля могут оказаться устаревшими, — признается технический директор Palisade.
Пока OpenAI молчит, в отрасли уже активно обсуждаются возможные меры решения проблемы. Среди прочих можно отметить введение «аварийных выключателей» нового поколения, обязательное тестирование на склонность к самосохранению и международные стандарты для автономных ИИ.
Специалисты предупреждают: если подобное поведение проявится в военных или промышленных системах, последствия могут быть непредсказуемыми.
Читайте также нашу статью о том, как ChatGPT научился генерировать идеальные аргументы на основе знаний о своем оппоненте.
