ChatGPT не прошел испытание на «детекторе лжи»: когда лопнет мыльный пузырь искусственного интеллекта

Как там выражались по поводу самозванцев классики из фильма «Иван Васильевич меняет профессию» — «Говорят, что царь — ненастоящий!».
Чат GPT
Источник: Freepik

И точно такие же слова все чаще звучат в адрес нынешнего властителя дум — ChatGPT, большой языковой модели, которая работает на алгоритмах искусственного интеллекта (ИИ).

Мы ожидали, что нейросети произведут революцию в обществе. А что в результате? ИИ занимается ерундой: генерирует веселые картинки, убирает вторые подбородки на селфи с помощью «фильтров красоты». И уж совсем приуныли технооптимисты, когда ChatGPT и его собратья неоднократно были пойманы на вранье, и оно уже наносило вред человеку. Ученые называют этот феномен, когда нейросети генерируют чепуху, красивым словом «галлюцинации».

Разработчики ChatGPT — компания OpenAI — создала своего рода «детектор лжи» для чат-ботов. Он называется SimpleQA. И выяснилось, что большие языковые модели генерируют до 20−40 процентов ложных ответов! Правда, надо признать, что и вопросы там были под стать клубу «Что? Где? Когда?» К примеру, нейросеть просили ответить — под каким номеров в чарте Billboard Digital World Songs на неделе с 21 февраля 2015 года находилась песня Babymetal Road of Resistance? Мало, кто из нас, дорогой читатель, ответил бы правильно. Но нам простительно: ведь мы можем этого не знать, а у ChatGPT есть доступ к терабайтам информации. И правильный ответ ChatGPT на самом деле «знал», но выдать его не смог.

Правда ли, что искусственный интеллект — это очередной мыльный пузырь, который вот-вот с треском лопнет на наших глазах? Об этом мы поговорили с доктором технических наук Владимиром Арлазаровым, заведующим отделом Федерального исследовательского центра «Информатика и управление» РАН, генеральным директором компании Smart Engines.

— Владимир Викторович, понятно, что галлюцинации ИИ — это серьезная проблема, на этом погорели медицинские диагностические системы и многое другое. Но приведет ли этот кризис доверия к зиме искусственного интеллекта?

— Ученые никогда не говорили, что у них есть оракул, который выдает ответы со 100-процентной точностью. Любая система, в том числе и искусственный интеллект, имеет погрешность, только теперь с помощью датасета SimpleQA мы получили количественную оценку достоверности ответов ИИ. Я бы не зацикливался на цифре 20 или 40 процентов ошибок, потому что для разных задач уровень достоверности может быть высоким или низким. Например, если мы возьмем сортировку входящей корреспонденции, то здесь эффективность просто отличная — ИИ показывает точность выше 90%. Но если мы говорим про медицинские системы, то здесь нас такой результат уже не устраивает, потому что 10 процентов неверных диагнозов — это очень много.

— Но мы-то ждали, что искусственный интеллект произведет революцию, даст человечеству ответы на все вопросы, а не будет добросовестно перебирать письма.

— Революция происходит, просто мы этого не замечаем, поскольку нам глаза затмил вселенский хайп вокруг больших языковых моделей (это тот самый ChatGPT и его аналоги), который устроили маркетологи и пиарщики. Там в основе лежит абсолютно гениальное изобретение, которое навсегда изменило представления о взаимодействии человека и машины. Теперь все знают, что с машиной можно общаться на естественном языке. И «железяка» умеет довольно разумно вести диалог, хотя и не всегда точна. То есть большие языковые модели — они про язык и общение с машиной, это принципиально новый интерфейс «человек-компьютер». А вот этот маховик — «сейчас ChatGPT научит нас, как жить» — раскрутили пиарщики. Они создали эффект завышенных ожиданий, которые могут стать причиной зимы искусственного интеллекта.

Любая система, в том числе и искусственный интеллект, имеет погрешность

— А где же происходит революция, которую мы не замечаем?

— А вы оглянитесь вокруг: искусственный интеллект это не только и не столько ChatGPT. Ваш смартфон — это продукт ИИ. Вашим автомобилем управляет искусственный интеллект. Он, конечно, не рулит за вас, но сколько граммов топлива впрыснуть в конкретный момент в двигатель, решаете не вы, а он — на основе анализа огромного количества данных. Оплата по QR-коду или покупка авиабилета — это тоже система искусственного интеллекта. А есть еще индустриальный искусственный интеллект, который управляет работой металлургических заводов. Или, например, Google с помощью искусственного интеллекта смоделировал механизм сворачивания белков. Это колоссальный прорыв в создании новых лекарств, лечении болезней, но об этом знают только специалисты. Потому что обычному человеку это сложно объяснить. Поэтому получается, что на слуху большие языковые модели, поскольку они самые простые для понимания обывателя. Но, по иронии судьбы, именно там надувается мыльный пузырь, который может лопнуть. А помимо всего прочего, у меня складывается ощущение, что повторяются история со звездными войнами, которая подкосила экономику Советского Союза в 80-х годах.

— Это когда США заявили о том, что они создадут систему ПРО, которая перехватит все советские ракеты?

— Да, американцы демонстрировали красивые мультики, как лазеры уничтожают баллистические ракеты. Ученые — и американские, и советские — тогда говорили, что создание такой системы невозможно при том уровне научно-технического развития.

Но советские руководители поверили в этот блеф, страна втянулась в гонку вооружений и надорвалась. И сейчас есть ощущение, что мы бросаем ресурсы не туда. Нам всем рисуют очень красивые картины того, как языковые модели изменят будущее, но лично у меня нет сомнений, что достичь заявленных экономических эффектов будет невозможно. Судя по всему, весь мир основные ресурсы в ИИ тратит на большие языковые модели и генерацию изображений. Но США и Россия обладают разными ресурсами. У Америки хватит денег и на другой искусственный интеллект, который реально дает отдачу в экономике. А у нас ресурсов может и не хватить.

История с беспилотными автомобилями — это «черный лебедь», пример мыльного пузыря, который, скорее всего, лопнет

— А как можете привести пример «черного лебедя», который просигнализирует, что приближается зима искусственного интеллекта?

— Ну, вот смотрите: некоторое время назад был мощный хайп по поводу создания беспилотного транспорта. Энтузиасты говорили: давайте заменим таксиста автопилотом, и это повысит производительность труда. У меня с самого начала было ощущение — что-то здесь не бьется. Вот если такси заменить автобусом, это резкий скачок в производительности труда: 1 шофер везет не 2−3 человек, а 30−40. А если мы заменяем одного таксиста автопилотом, то только усложняем себе задачу. Потому что обслуживать такую систему очень дорого: тут нужен уже не механик, а инженер с высшим образованием и научной степенью — специалист по искусственному интеллекту. А их, мягко говоря, и так не хватает. Вернее, их на рынке просто нет.

— Значит вузы будут готовить больше таких специалистов в области ИИ. Разве нет?

— Понимаете, с абстрактным мышлением примерно такая же ситуация, как с музыкальным слухом. Вполне возможно, что число людей с таким типом мышления ограничено каким-то процентом населения. К примеру, на математические факультеты топовых вузов поступают победители олимпиад, выпускники спецшкол, но часто даже они не в состоянии освоить программу. А самое интересное: чтобы обеспечить эти роботакси инженерами, нам нужен не 1 условный Физтех, который выпускает специалистов по ИИ, а 100. А где взять такое количество преподавателей? Онлайн-образование, лекции в интернете? Пробовали — специалистов по ИИ таким образом не подготовить. То есть существуют фундаментальные проблемы, которые не позволяют масштабировать выпуск инженеров такой квалификации. Следующая проблема: автопилот сбил человека. Кто будет отвечать?

— Значит, история с беспилотными автомобилями — это «черный лебедь», пример мыльного пузыря, который, скорее всего, лопнет?

— Да, может лопнуть. Потому что инвесторы уже открыто спрашивают, когда будет экономический эффект? Когда мы сможем вернуть наши деньги? Ответ на этот вопрос пока висит в воздухе. А потом «черный лебедь» — это не обязательно какой-то катастрофический провал. Иногда это открытие альтернативного окна возможностей. Вот представьте, что через пару лет ракета Илона Маска садится на Марсе, и начинается колонизация соседей планеты. Инвесторы моментально заберут миллиарды из сферы искусственного интеллекта и понесут их в космонавтику. Кстати, это отличный способ предотвращения войн на Земле: люди будут делить не клочок земли, а осваивать целую планету.