Онлайн-опросы — краеугольный камень современных социальных наук. Существуют даже специальные онлайн-платформы, которые позволяют ученым быстро и недорого собирать данные. Однако теперь эти системы оказались уязвимы для масштабных манипуляций. По оценкам специалистов Школы передовых исследований IMT в Лукке и Кембриджского университета, от 4 до 90% ответов в определенных выборках могут быть ложными или мошенническими. Особенно острой эта проблема становится теперь, когда стремительно развивается индустрия автономных ИИ-агентов, которые могут заполнять анкеты практически без участия человека.
«Проблема в том, что инструменты, которые до сих пор использовались для того, чтобы отличать людей от ботов, больше не работают, — объясняет Фолько Паницца, один из соавторов работы. — Мы не можем определить, человек отвечает или нет. Это значит, что все данные потенциально загрязнены».
Последствия могут быть серьезными не только для науки: опросы широко используются в политической социологии, то есть их искажение может влиять и на демократические процессы. При этом даже небольшая доля «загрязненных» данных — всего 3−7% мошеннических ответов — способна исказить статистические выводы.
Традиционные средства защиты — CAPTCHA и проверочные вопросы — все менее эффективны против современных языковых моделей. В отличие от примитивных ботов прошлого, сегодняшний ИИ генерирует связные, осмысленные ответы с учетом контекста, нередко превосходя людей в заданиях, которые должны выявлять автоматизированное участие.
Авторы предлагают несколько решений: анализировать поведенческие паттерны — скорость набора текста, использование копирования и вставки; полагаться на верифицированные панели респондентов с проверкой личности. Но самое неожиданное предложение — перевернуть логику обнаружения ботов: разрабатывать задания, которые эксплуатируют ограничения человеческого мышления, а не слабости ИИ.
«Машины очень хорошо имитируют поведение людей, но гораздо хуже имитируют человеческие ошибки», — отмечает Паницца. Если респондент отвечает слишком хорошо — это само по себе может стать сигналом. Заставить ИИ намеренно ошибаться «по-человечески» значительно сложнее, чем просто научить его давать правильные ответы на поставленные вопросы.
