Генеративные модели получат контроль над ядерным оружием — чем это грозит

Когда-то ядерная кнопка была прерогативой президента. День за днем в эту опасную зону проникают нейросети. Машину используют как советника, но никто не знает, как ее будут применять через 10 или 20 лет. Пока человек ответствен за решения, мировая ситуация остается под контролем. Но что будет, если мы все чаще начнем соглашаться с предложениями ИИ. А если в следующий раз не будет времени подумать?
Автор Hi-Tech Mail
ИИ и ядерное оружие: эксперты бьют тревогу
ИИ и ядерное оружие: эксперты бьют тревогуИсточник: Recraft

Искусственный интеллект все активнее встраивается в наиболее неоднозначные и уязвимые сферы, и теперь дело дошло до самого опасного — ядерного оружия. Недавно специалисты по безопасности, нобелевские лауреаты и военные аналитики собрались, чтобы обсудить тревожный сценарий: что случится, если ИИ получит доступ к ядерным системам. Большинство из них склоняются к мысли, что подобное развитие событий — лишь вопрос времени.

Сейчас алгоритмы уже используются для разведки, анализа угроз, расчета траекторий и имитации боевых сценариев. В военных структурах модели помогают быстрее оценивать обстановку и молниеносно предлагать решения. Но чем ближе ИИ подбирается к системам стратегического уровня, тем острее встает вопрос — может ли машина получить реальный доступ к пусковым механизмам. Ведь даже небольшая ошибка, допущенная автономной моделью, приведет к необратимым последствиям.

Сами технологии развиваются быстрее, чем механизмы контроля
Сами технологии развиваются быстрее, чем механизмы контроляИсточник: Recraft

Современные генеративные системы способны обрабатывать огромные объемы информации, выявлять нестандартные угрозы, просчитывать варианты развития ситуации на годы вперед. Но у них есть слабости — неконтролируемые логические сбои, или, как их называют инженеры, «галлюцинации». Иногда такие алгоритмы уверяют пользователя в чем-то, что на самом деле не имеет под собой весомых доказательств. Если подобный сбой произойдет в условиях боевого дежурства, шанса на откат не будет.

Тревогу вызывает и другое — защита каналов управления. Если условный противник получит удаленный доступ к элементам системы, возникает риск, что он встроит туда свой смертоносный сценарий. Или, что еще опаснее, нейросеть может быть использована другим ИИ, созданным с враждебными целями. Тут возникает другая дилемма: чем выше уровень автоматизации, тем меньше человек может влиять на результат, поэтому вовремя остановить лаг с развитием системы все сложнее.

Ситуация осложняется киберугрозами: враждебный ИИ или хакеры могут попытаться внедриться в такие сети
Ситуация осложняется киберугрозами: враждебный ИИ или хакеры могут попытаться внедриться в такие сетиИсточник: Recraft

Сейчас крупные технологические компании уже сотрудничают с оборонными ведомствами. Например, OpenAI заключила соглашение с лабораториями США по применению своих моделей в сфере ядерной безопасности. Министерство энергетики сравнивает ИИ с «новым Манхэттенским проектом», подразумевая его критическую роль в стратегической обороне. В то же время эксперты подчеркивают, что уровень доверия к нейросетям не должен переходить в разряд слепой веры.

Некоторые военные чиновники в форме ультиматума заявляют, что ИИ не должен принимать окончательных решений о запуске. Пока что он выступает лишь советником, который помогает офицерам быстрее ориентироваться в обстановке. Но с каждым годом степень его влияния растет, и уже сегодня человек может просто подтвердить то, что машина «посчитала» правильным. Размывание границ между настоящим анализом и принятием туманных перспектив — главный риск в современной истории.

Среди специалистов нет единого понимания, как обеспечить здесь полную безопасность. Пока все сходятся в одном: нужен четкий механизм контроля, где последнее слово всегда остается за человеком. Пока это возможно, держать руку на пульсе получится. Но если допустить, что решения начнет принимать машина — точка невозврата может наступить слишком быстро. И в этот момент уже никто не будет понимать, кто именно нажал кнопку — человек или ИИ.

Ранее мы писали о том, что в США стали запрещать использование ИИ для психотерапии и лечения.