Считается, что если языковая модель отвечает уверенно, то ответ, скорее всего, правильный — но на практике это далеко не всегда так, и исключений накопилось достаточно, чтобы усомниться в самом правиле. Ученые из Калифорнийского университета в Риверсайде разобрались, откуда берется этот разрыв, и опубликовали препринт с решением.
Команда во главе с аспирантом Хетом Пателем проанализировала работу двух открытых языковых моделей, Llama-3.1-8B от Meta* и Gemma-2-9B от Google, с помощью разреженных автоэнкодеров — инструмента, который позволяет заглянуть во внутренние представления нейросети во время ответа на вопросы с вариантами ответа. Все ответы разделили на четыре группы по сочетанию правильности и уверенности модели, а затем нашли внутри сети три типа сигналов: одни связаны с неуверенностью, другие — с неправильностью ответа, третьи одновременно с обоими и мешают их различать.
Когда исследователи подавили именно смешанные, «спутанные» сигналы, точность ответов выросла до 1,1%, а показатель неуверенности снизился сразу на 75%. Дальше эффект оказался еще заметнее: если использовать три таких «спутанных» сигнала, чтобы заранее помечать рискованные ответы и отказываться от них, точность подскакивает с 62% до 81% — при этом модель по-прежнему отвечает на 53% всех вопросов, а не уходит в отказ по каждому сложному случаю. А вот отключение сигналов, связанных именно с неуверенностью, резко портило точность, тогда как отключение сигналов «чистой неправильности» почти ничего не меняло.
Уверенность и правильность ответа кодируются в нейросети разными, лишь частично пересекающимися механизмами. Научившись их разделять, разработчики смогут сделать модели честнее: станет понятнее, когда ответу стоит доверять, а когда лучше переспросить или проверить факт самостоятельно.
До этого ученые уже замечали, что нейросети могут понимать, насколько правдив их ответ. Например, модель можно попросить проверить себя или найти внутри нее сигналы, которые связаны с правдой и ложью. Но все эти подходы смешивали два разных вопроса: правильный ли ответ и уверена ли в нем сама модель. Новое исследование показало, что это разные вещи. За них отвечают разные сигналы внутри нейросети, хотя некоторые из них пересекаются.
Ранее мы писали о том, как в России разработали метод борьбы с галлюцинациями нейросетей.
*Продукты компании Meta признаны экстремистскими и запрещены на территории РФ.