Чтобы выяснить отношение к искусственному сверхинтеллекту людей и ИИ ученые под руководством Любиши Бойича из Белградского университета составили опросник из 39 вопросов, где нужно было по пятибалльной шкале оценить восторг, спокойствие, доверие и страхи, связанные с AGI. Его задали семи языковым моделям, среди которых GPT-4, GPT-3.5-Turbo, Bard и LLaMA-2−70B-Chat, и повторяли три дня подряд, чтобы проверить стабильность ответов. На те же вопросы ответили онлайн три группы людей — 134, 132 и 71 человек, в основном из Сербии.
Разрыв оказался ощутимым: у моделей средняя оценка составила 3,77 балла, у людей — 2,97, то есть где-то между нейтральностью и легкой настороженностью. Самым восторженным стал GPT-4 (4,12), самым сдержанным — Bard (3,32), но и этот показатель оказался выше среднего у людей. «Почти целый балл — это примерно разница между осторожной неопределенностью и умеренным энтузиазмом, — говорит Бойич. — Поодиночке это немного. Но если умножить результат на сотни миллионов разговоров, мы получим убежденность».
Чувств у программ, подчеркивают авторы, нет: ответы отражают обучающие тексты и правила, по которым разработчики донастраивают поведение модели. Бойич предполагает, что огромную роль играет именно этап донастройки: в интернете AGI часто представляют как HAL 9000 или «Из машины», и модели, по идее, должны были звучать тревожнее, а звучали «как оптимистичные технологические презентации». При этом он уточняет: нельзя исключать, что некоторые взгляды формируются внутри модели «сами» этот процесс отследить сложно. Но это вовсе не значит, что кто-то тайно закладывает в модели пропаганду, подчеркивает ученый.
Ответы моделей колебались от дня ко дню: PPLX-70B-Chat изменил суммарный балл на 16 пунктов (около 8%), тогда как Mistral-7B-Instruct и LLaMA-2−70B-Chat — лишь примерно на 1%.
Авторы предлагают создать Societal AI Alignment Benchmark — регулярную проверку моделей на разных языках по ценностям Европейского социального исследования, своего рода «службу погоды для мнений ИИ».
Ученые признают ограничения работы: выборка людей была небольшой и в основном из одной страны, а числовая шкала не передает всей глубины отношения к сложной технологии. Модели ИИ в свою очередь постоянно обновляются, поэтому их «настроения» со временем могут меняться. Тем не менее, по словам Бойича, сама постановка вопроса принципиальна: «Мы регулируем процессы производства еды и лекарств, потому что они попадают в наши тела. ИИ-системы теперь попадают в наше мышление. Будет разумным хотя бы повесить ярлык на упаковку».
Ранее мы рассказали, как оставаться умным в эпоху искусственного интеллекта.