Большие языковые модели, на которых работают чат-боты, обучены на огромных объемах текстовых данных, что позволяет им не только понимать язык и контекст, но и генерировать осмысленные и релевантные ответы. Хотя ранее их возможности изучались в контексте академических задач и логических рассуждений, способность решать сложные социальные вопросы оставалась недостаточно исследованной.
В рамках нового эксперимента специалисты протестировали пять чат-ботов (Claude, Microsoft Copilot, ChatGPT, Google Gemini и умный ассистент от you.com) и сравнили их результаты с группой из 276 человек. Участниками стали люди с высоким уровнем образования и мотивации, что обеспечило высокий уровень человеческой выборки. В исследовании использовался тест ситуационной оценки (Situational Judgment Test), широко применяемый в психологии для измерения социальных навыков. Он состоял из 12 сценариев, каждый из которых требовал выбора наилучшего и наихудшего вариантов поведения. Эталоном служили оценки группы из 109 экспертов.
Чат-боты проходили тест по десять раз с разным порядком вопросов, чтобы обеспечить объективность результатов. Оценки производились на основе совпадения выбранных ответов с экспертными рекомендациями. Также ИИ оценивали эффективность каждого из вариантов действий, что дало дополнительные данные для анализа.
Результаты работы удивили ученых: все протестированные чат-боты показали как минимум равные результаты с людьми, а некоторые превзошли их. Лидером стал Claude, за ним следовали Microsoft Copilot и умный ассистент от you.com. Эти системы продемонстрировали стабильную способность выбирать наиболее эффективные ответы, при этом в случае ошибок чаще всего выбирали второй по эффективности вариант, что свидетельствует о схожести их алгоритмов с человеческой логикой.
Один из авторов исследования, доктор Джастин М. Миттельштедт отметил, что успех чат-ботов в тесте связан с тем, что социальные нормы и человеческие взаимодействия закодированы в текстовых данных, на которых обучались модели. При этом чат-боты не были специально обучены для анализа социальных ситуаций, что делает их результаты еще более значимыми.
Однако эксперимент также выявил различия в надежности работы различных систем. Например, Claude показал высокую стабильность в результатах, тогда как Google Gemini иногда давал противоречивые ответы, оценивая одно и то же действие как лучшее и худшее в разных тестах.
Авторы подчеркивают, что, несмотря на впечатляющие результаты, полученные в симулированных сценариях, пока рано говорить о том, как эти системы справятся с реальными социальными ситуациями, особенно в условиях высокой ответственности. Миттельштедт добавил, что влияние культуры также играет важную роль: эффективность ответа может значительно варьироваться в зависимости от культурного контекста.
Исследование также обращает внимание на потенциальные возможности применения ИИ. Например, чат-боты могут быть полезны людям, испытывающим неуверенность в социальных взаимодействиях, предоставляя рекомендации по поведению в сложных ситуациях. При этом авторы предостерегают от слепого доверия этим системам, учитывая их склонность к так называемым «галлюцинациям» — созданию недостоверных или противоречивых данных.
Хотя большие языковые модели демонстрируют высокий уровень социального понимания, ученые подчеркивают, что они не обладают эмоциями и сознанием, которые лежат в основе истинно человеческого поведения. По сути, ИИ лишь воспроизводит паттерны, обнаруженные в данных, на которых он обучался. Тем не менее, это открывает перспективы для использования ИИ в обучении социальным навыкам, поддержке психического здоровья и других областях, где требуется понимание социальных взаимодействий.
«Наше исследование показало, что большие языковые модели способны оценивать социальные ситуации с высокой точностью, что делает их полезными для разработки технологий, способных помочь людям в сложных социальных условиях», — отметил Миттельштедт. «Однако важно помнить, что ИИ пока остается инструментом, а не заменой человеческого опыта».
Тем временем стало известно, что ИИ поможет врачам выявлять опасные заболевания мозга.
