Стиль нашего общения с нейросетями влияет на ответы: новое исследование

На первый взгляд, общаться с чат-ботом предельно просто: мы задаем вопрос, а он отвечает. Однако на самом деле ситуация гораздо глубже: искусственный интеллект учится на каждом нашем сообщении, и то, как именно мы с ним разговариваем, влияет на качество его ответов.

Человек подстраивает свою речь под ситуацию: с друзьями мы говорим в одном стиле, а с официальными лицами — в совершенно другом

Источник: Freepik

Люди естественным образом адаптируют свой стиль общения к собеседнику. Например, при разговоре с кредитным специалистом в банке мы автоматически переключаемся на официальный тон, следим за грамматикой и говорим полными предложениями. Но в непринужденной обстановке, например, сидя в баре с друзьями, мы запросто используем сокращения, разнообразные неформальные выражения и сленг.

Похоже, с чат-ботами большинство людей ведет себя так же, как с приятелями в неформальной обстановке, то есть, не церемонится. Фулэй Чжан и Чжоу Ю из компании Amazon проанализировали тысячи реальных переписок, сравнив, как люди разговаривают с живыми операторами службы поддержки и с искусственным интеллектом. Согласно анализу модели Claude 3.5 Sonnet, ученые обнаружили, что с людьми пользователи ведут себя на 14,5% вежливее и официальнее, а также на 5,3% более грамотно формулируют свои запросы, чем при обращении к ботам.

Далее ученые обучили языковую модель Mistral 7B на 13 тысячах сообщений, отправленных живым сотрудникам, после чего проверили, насколько хорошо нейросеть справляется с пониманием 1300 реальных сообщений, написанных пользователями чат-ботам. Чтобы проверить влияние манеры общения, ученые создали несколько версий тех же сообщений — они были более вежливые и прямолинейные, чем изначально — а затем сравнили результаты.

Обучение ИИ на более разнообразных по стилистике сообщениях и текстах более эффективно

Источник: rg_ru

Оказалось, что модели, обученные на разнотипных данных, где встречались и неформальные, и формальные стили, лучше распознавали намерения пользователя. Разнообразие «словесного опыта» повысило точность понимания сообщения почти на 3%. Напротив, попытка «отредактировать» живую речь пользователей, превращая их непринужденные сообщения в формальные, снизила точность примерно на 2%. Другими словами, искусственное «причесывание» языка только мешает машинам учиться понимать людей.

Ученые пришли к выводу, что успех чат-ботов зависит не от того, насколько гладко мы изъясняемся, а от того, насколько гибко они способны воспринимать разнообразие человеческой речи. В своей статье они отмечают: модели нужно тренировать на богатстве языковых стилей, а не пытаться специально «исправлять» и формализировать речь пользователей. Эти выводы помогут разработчикам сделать цифровых ассистентов более точными и естественными в общении, приблизят их не к идеальной грамматике, а к реальному человеческому общению.

Ранее нейросеть обучили распознавать древнеегипетские иероглифы.