Фриц Брайтаупт, профессор германистики и когнитивных наук Университета Индианы в Блумингтоне, вместе с коллегами решил исследовать то, как ChatGPT пересказывает истории по сравнению с людьми. Специалисты сосредоточились на двух аспектах изложения: стабильности языка и сохранении эмоциональной нагрузки — аффекта. Наличие аффекта показывает, сохраняет ли пересказанная версия истории тот же эмоциональный тон ситуации, который был в оригинале. Устойчивость языка определяет сохранность в пересказанном варианте слова, понятия и грамматические конструкции оригинала.
В исследовании приняли участие люди, которых попросили написать короткие истории примерно на 120−160 слов: счастливые, слегка счастливые, слегка грустные или печальные. Условие: без использования явно выраженных эмоциональных слов, таких как «счастливый» или «грустный». После их предсказали 348 других человек, и на выходе получилось 116 оригинальных историй и 348 пересказанных. Параллельно с этим для изложения одних и тех же рассказов использовался ChatGPT 3. Для повышения точности опыта применялись разные учетные записи ИИ, что не позволяло модели получать доступ к предыдущим пересказам. Конечные результаты оценивали еще 537 участников эксперимента. Что же получилось?
Оказалось, что и генеративный ИИ, и люди значительно сократили истории в своих изложениях. Однако чат-бот уменьшал их сильнее относительно людей. Анализ языка продемонстрировал, что ChatGPT использует больше существительных, прилагательных и предлогов, а люди — глаголов, наречий и отрицаний. Это говорит о том, что человеческие пересказы больше фокусируются на действиях и эмоциях, а чат-бот подчеркивает описания и сущности. Эмоциональный тон отлично сохранился в обоих случаях.
Тем не менее ИИ показал себя менее творческим: люди с каждым новым изложением вводили в рассказы больше новых слов и понятий. Чат-бот же давал краткие пересказы и вносил в них мало изменений. Это демонстрирует то, что, хотя ChatGPT может служить ценным инструментом в различных задачах, он не может полностью воспроизвести богатство и вариативность человеческого повествовательного общения.
Ранее ученые рассказали, как нейросети «убивают» творчество. Помощь нейросетей в написании рассказов уменьшает их оригинальность.