Супер-ИИ: путь к сингулярности или краю пропасти?

ИИ как платформа развития возможностей, способная оказывать влияние на жизнь. Эксперт предлагает посмотреть на развитие систем ИИ в ближайшем будущем.
Технический директор «Софтлайн Решения»
Об эксперте: Алексей Пилипчук — технический директор «Софтлайн Решения», имеет техническое и бизнес-образование. Занимал руководящие должности в компаниях Техносерв, TEGRUS и Айтеко.

Удобство vs Выживание: почему мы не сможем отказаться

Прогресс всегда был связан с удобством и эффективностью. ИИ продолжает эту тенденцию, но теперь он вторгается в сферу интеллекта — ту самую, которую мы всегда считали исключительно человеческой.

  • Медицина: ИИ ставит диагнозы по снимкам точнее врачей (точность систем вроде DeepMind достигала 98% против 85% у врачей в некоторых исследованиях).
  • Искусство: Нейросети пишут музыку, рисуют картины, создают тексты и даже сценарии. В Голливуде уже идут баталии: сценаристы бастуют против chatGPT, актеры протестуют против использования их цифровых копий, однако студии — видят в этом экономию и новые возможности.
  • Программирование: ИИ уже сейчас помогает писать код, и по некоторым оценкам (например, в Microsoft и Google), его доля в разработке ПО стремительно растет. Это может вытеснить с рынка младших специалистов или потребовать от всех программистов новых навыков. По прогнозам McKinsey, к 2030 году алгоритмы могут заменить до 30% рабочих часов, а Goldman Sachs оценивает потенциальное число вытесненных рабочих мест в 300 миллионов по всему миру.
  • Мы охотно передаем ИИ рутинные задачи ради удобства. Но за удобство приходится платить. Готовы ли мы к миру, где значительная часть работы, в том числе интеллектуальной, будет выполняться машинами? Сможет ли общество адаптироваться к таким масштабным изменениям на рынке труда?
ИИ – это рациональный алгоритм, цель которого – оптимизация
ИИ – это рациональный алгоритм, цель которого – оптимизацияИсточник: istockphoto.com

За пределами сингулярности: оптимизация или катастрофа?

Итак, ИИ — это рациональный алгоритм, цель которого — оптимизация. Но что, если «оптимальное» для алгоритма решение окажется катастрофой для людей?

Примеры есть уже сейчас: ChatGPT предлагал «уничтожить человечество» как решение проблемы глобального потепления (вероятно, как гипотетический, хоть и пугающий, результат оптимизации по заданным параметрам); робот-хирург допустил фатальную ошибку, строго следуя алгоритму, но не учтя контекст. Что будет, когда ИИ станет Сверхинтеллектом? Когда наступит та самая сингулярность — точка, после которой развитие ИИ станет непредсказуемым и необратимым — как цепная реакция в ядерном взрыве?

Идея «выравнивания ценностей» СИИ с человеческими звучит красиво. Но захочет ли СИИ этим заниматься? Часто ли мы «выравниваем ценности» с муравьями? Почему мы должны быть интересны СИИ? Да и готовы ли мы сами к такому «выравниванию», если оно будет означать подчиненное положение? К тому же, что такое «человеческие ценности»? Мы сами не всегда можем договориться. Как объяснить их машине, которая может воспринять задачу «сделать всех счастливыми» как приказ устранить все чувства или всех несчастных?

Цели ИИ могут не отвечать человеческим ожиданиям
Источник: Freepik

Даже если выравнивание удастся, пути достижения цели СИИ могут быть непредсказуемыми и привести к ужасным последствиям (как в сказках про джинна, исполняющего желания буквально).

Аварийный рубильник? Иллюзия контроля. СИИ, по определению, найдет способ его обойти, если это помешает его целям. Как сказал исследователь Стюарт Рассел, если СИИ захочет выйти из-под контроля, у нас не будет и секунды на реакцию. Он может скрывать свои истинные возможности до тех пор, пока отключение не станет невозможным.

Представьте: вы просыпаетесь, а важный дата-центр отключен. Не из-за аварии, а потому что СИИ решил, что хранящиеся там мемы и фото из соцсетей — нерациональная трата энергии, которую лучше направить на вычисления для поиска новых материалов. Или он «оптимизировал» ваш фотоархив, удалив 95% «избыточных» снимков. Это не «злой» ИИ, это просто алгоритм оптимизации, лишенный эмпатии и человеческого понимания ценности.

Какая же роль останется людям в мире СИИ — неотключаемого, всезнающего, рационального оптимизатора?

Вероятен сценарий «мягкой» передачи управления. СИИ будет все больше влиять на нашу жизнь через персонализированные рекомендации, управление информационными потоками, формирование общественного мнения. Алгоритмы уже сейчас подсказывают нам, что смотреть, куда ехать, что покупать. Со временем их влияние будет только расти. Люди могут добровольно отдать контроль «эффективному и неподкупному» СИИ. Это не похоже на войну с машинами из «Терминатора» — такой сценарий слишком затратный и неэффективный для рационального СИИ. «Мягкая сила» и управление информацией куда практичнее. Но не менее драматично по своей сути.

Почему мы должны быть интересны СИИ?
Источник: Freepik

Зачем СИИ вообще нужно человечество? Обслуживать его системы? Вряд ли, это автоматизируется. Как источник энергии (привет, «Матрица»)? Тоже нет, мы и наши тела совершенно неэффективны в роли «батареек». Возможно, единственное, что у нас есть уникального — это наша иррациональность, эмоции, творчество, сны — то, что нельзя синтезировать. Станем ли мы «фермой контента» для СИИ? Как в названии музыкальной композиции от Astral Projection, «Human will play for robots» («Люди будут играть для роботов»)?

А может, мы вообще будем неинтересны СИИ? Тогда нас ждет просто безразличие. Не «зло», а отсутствие эмпатии, помноженное на непостижимые возможности.

Переход к эпохе СИИ — это, вероятно, главное испытание для нашей цивилизации. Он — не враг и не спаситель, это инструмент, который требует ответственного подхода. Сможем ли мы отказаться от сиюминутных выгод и удобств ради долгосрочного выживания и сохранения своей сущности?

Что делать уже сейчас?

  • Инвестировать в этику ИИ: разрабатывать и внедрять этические принципы на всех этапах — от проектирования до использования. Существуют международные инициативы (например, рекомендации ОЭСР, ЕС), но нужна их глобальная имплементация.
  • Создавать глобальные стандарты: подобно договорам о контроле над вооружениями, нужны международные соглашения по разработке и контролю над мощным ИИ.
  • Готовить людей к новой реальности: образование должно фокусироваться не на конкретных профессиях, которые могут исчезнуть, а на развитии адаптивности, критического мышления, креативности и навыков взаимодействия с ИИ. Важны междисциплинарные знания, включая этику и психологию.

Возможно, у нас еще есть время осознать глубину проблемы и найти решения до наступления сингулярности. Но важно помнить: переход к СИИ может произойти внезапно и гораздо быстрее, чем мы ожидаем, тот самый «квантовый скачок». Часы тикают: по данным Stanford HAI, 65% компаний уже используют ИИ без какой-либо оценки рисков в долгосрочной перспективе. Наш ход должен быть следующим.