Изложить содержание этих публикаций попросили десять различных чат-ботов. Большинство из них были версиями ChatGPT — на момент начала исследования в январе 2024 года они были самыми популярными. Как отметили ученые, школьники все чаще пользуются ими для выполнения домашних заданий. Ученые также ознакомились с тем, как научный контент интерпретируют LLaMA, Claude и DeepSeek.
В итоге больше всего вопросов вызвали шесть языковых моделей: GPT-4 Turbo, ChatGPT-4o, ChatGPT-4.5, LLaMA 2 70B, LLaMA 3.3 70B и DeepSeek. Как пишут ученые, эти боты чаще других «грешат» слишком обобщенными выводами. К примеру, вместо того, чтобы назвать лечение эффективным конкретно в рамках данного исследования, они просто пишут, что лечение эффективно.
Ученые сравнили сделанные искусственным интеллектом пересказы научных статей с изложениями, которые выполнены людьми. Примечательно, что при этом не оценивалась степень обоснованности выводов, сделанных человеком — их тексты просто приняли как «точку отсчета». И люди оказались гораздо более осторожными в своих формулировках.
Еще хуже то, что попытки призвать «роботов» к большей точности не сработали и даже имели «обратный эффект»: они после этого вдвое чаще делали преувеличенные заявления.
По опубликованным данным, меньше всего (подчеркнем: в рамках данного исследования) «привирал» чат-бот Claude. В целом ученые считают, что ситуация довольно тревожна: общество вряд ли откажется от помощи нейросетей в поиске и обработке информации. По мнению исследователей, единственный выход — быть как можно более бдительными и не принимать на веру написанное «роботом».
Кроме того, для получения максимально точной информации они призвали использовать боты с как можно более низкой «температурой» — параметром, который обозначает степень «креативности» искусственного интеллекта. Чем ближе он к нулю, тем более однообразные и формальные фразы «робот» будет использовать, зато меньше будет вводить в заблуждение.
Ранее выяснилось, насколько опасно обращаться к чат-боту за медицинскими консультациями.
