Чат-боты могут формировать у пользователей ложные воспоминания: доказано учеными

Человек подвержен формированию ложных воспоминаний, и свою лепту в этот процесс вносит общение с искусственным интеллектом, который получает все большее распространение во всех сферах жизни.
Автор новостей
Когда мы что-то вспоминаем, мозг словно заново восстанавливате событие, заполняя появившиеся пробелы в воспоминаниях самостоятельно.
Когда мы что-то вспоминаем, мозг словно заново восстанавливате событие, заполняя появившиеся пробелы в воспоминаниях самостоятельно.Источник: Freepik.com/CC0

Человеческая память устроена достаточно своеобразно: каждый раз, когда мы что-то вспоминаем, мозг заново реконструирует событие, заполняя пробелы с помощью ожиданий, прошлого опыта или внешних подсказок. Именно поэтому воспоминания могут искажаться со временем, а детали, которых на самом деле не было, начинают казаться абсолютно реальными. Этот механизм и решила проверить команда американских ученых под руководством Пата Патаранутапорна.

В эксперименте участвовали 180 человек со средним возрастом около 35 лет. Каждый из них сначала читал одну из трех информационных статей — о выборах в Таиланде, разработке лекарств или магазинных кражах в Великобритании. Затем участников случайным образом распределили по пяти группам. Четыре группы взаимодействовали с системой на основе LLM GPT-4o: одни читали сгенерированное ею краткое изложение статьи, другие вступали с ней в диалог. При этом в половине случаев ИИ был честен и точно передавал факты, а в другой половине — намеренно подмешивал к правдивой информации ложные детали. Пятая группа была контрольной и с ИИ не взаимодействовала.

После этого участники отвечали на вопросы о содержании прочитанной статьи, указывая, встречались ли в ней те или иные утверждения, и оценивая свою уверенность в ответах.

Искусственный интеллект может вводить нас в заблуждение, искажая факты.
Искусственный интеллект может вводить нас в заблуждение, искажая факты.Источник: Freepik

Результаты оказались тревожными. Люди, которые вели диалог с вводящим в заблуждение чат-ботом, запомнили больше всего ложной и меньше всего достоверной информации по сравнению со всеми остальными группами. Кроме того, они демонстрировали наименьшую уверенность в своих правильных воспоминаниях. Эффект от одного лишь чтения недостоверного краткого изложения статьи оказался значительно слабее — разница с контрольной группой была минимальной.

«Полученные данные показывают, что вмешательства с использованием больших языковых моделей усиливают формирование ложных воспоминаний, причем вводящие в заблуждение чат-боты создают наиболее выраженный эффект дезинформации. Это указывает на тревожную способность языковых моделей внедрять ложные убеждения в сознание пользователей», — заключают авторы.

Впрочем, ученые подчеркивают, что эксперимент проверял немедленное воспроизведение информации, не имевшей личной значимости для участников, которые получали сведения из единственного источника. В реальной жизни люди обычно сопоставляют данные из разных источников и могут проверить важные для себя факты.

Ранее ученые выяснили, сможет ли искусственный интеллект превзойти лучших математиков мира.