Галлюцинация — момент, когда нейросеть генерирует правдоподобный, но неверный ответ. Большие языковые модели — это вероятностные машины. Каждое следующее слово они выбирают, основываясь на статистической вероятности, вычисленной по гигантским массивам текстов, на которых были обучены. Так, если нейросеть видит фразу «столица Франции…», то с высокой вероятностью продолжит «Париж», поскольку такой паттерн часто встречается в данных. При неоднозначном вопросе, вопросе о редкой сущности или запросе, на который модель не знает ответа (поскольку не обучалась на таких данных), она скорее сгенерирует галлюцинацию при продолжении текста либо откажется давать ответ.
Когда галлюцинации ИИ особенно критичны
Галлюцинации ИИ становятся критичными в тех сценариях, где цена ошибки максимальна, а последствия неверного решения могут привести к реальному ущербу, например, в медицине.
Мы выделяем две ключевые характеристики, которыми должна обладать модель, чтобы свести к минимуму вероятность галлюцинаций.
Во-первых, в ответах нейросети должна быть опора на верифицированные источники и ссылка на них.
Они должны базироваться на актуальных клинических рекомендациях, медицинских справочниках и проверенных базах знаний. При этом модель обязательно должна указывать, на основе каких источников сформирован ответ. Это дает врачу возможность оценить правильность и обоснованность генерации, перепроверить информацию.
Во-вторых, поскольку цена ошибки в медицинском домене крайне высока, важно научить модель правильно оценивать, что она знает, а чего не знает. Если вопрос выходит за пределы ее знаний, она должна отказаться от генерации или запросить дополнительную информацию, вместо того чтобы галлюцинировать.
Как ученые борются с галлюцинациями ИИ
Для повышения надежности генеративных моделей разработчики применяют комплексную стратегию, которая включает как дообучение на специальных данных, так и архитектурные ухищрения.
Основные технические приемы можно разделить на три группы. Первый — это обучение с учителем на размеченных данных: в обучающую выборку включают примеры, где к ответам модели приписаны откалиброванные вероятности. Это позволяет сети лучше соотносить числовое выражение уверенности с реальной точностью. Второй — метод с подкреплением: модель поощряют за верные суждения и штрафуют за избыточную самоуверенность в случае ошибок. Третий — методы согласованности. Модель несколько раз задают один и тот же вопрос, и высокая вариативность полученных ответов служит маркером высокой неопределенности.
Однако даже самые совершенные алгоритмы не гарантируют абсолютной точности. Критическую роль в снижении риска галлюцинаций играет внешнее знание. Для этого применяется подход RAG (Retrieval-Augmented Generation). В отличие от классической генерации, где модель опирается только на память, RAG подключает внешние источники. Система сначала выполняет поиск по релевантной базе — корпоративная документация, веб-индекс или база знаний, — извлекает наиболее подходящие фрагменты и внедряет их в промпт как дополнительный контекст. Только после этого модель формирует ответ, кардинально сокращая количество выдуманных фактов.
Разработчики активно создают нейросети для решения конкретных задач. Это позволяет заложить механизмы контроля уверенности на фундаментальном уровне архитектуры и данных. Яркий пример такого подхода — семейство Optimal Cognitive Core (OCC) и его первая модель OCC-RAG. Она ориентирована на ответы по предоставленному контексту.
Как обычный пользователь может повлиять на качество ответов нейросети
Один из самых эффективных способов борьбы с галлюцинациями — сделать так, чтобы модель не пыталась отвечать на вопросы любой ценой. Дайте ей инструкцию воздерживаться от ответа, если она в нем не уверена. В промпте пропишите, что необходимо указать уровень уверенности в корректности ответа — высокая/средняя/низкая — и аргументировать выбор. Можно также попросить модель показать каждый шаг рассуждения, объяснить логику и промежуточный результат.
Если у вас есть документы, данные или статьи, в промпте обозначайте, что нейросеть должна работать только с ними. Отдельно пропишите: если документы не содержат ответа на ваш вопрос, она должна ответить, что информация не найдена. Попросите модель для каждого утверждения указывать номер страницы документа и абзац.
Но самое главное помнить, что ни один из существующих методов не дает абсолютной гарантии того, что нейросеть не с галлюцинирует. Ответственность за конечный результат несет человек, поэтому один из самых важных навыков, которые важно оттачивать сегодня — это критическое мышление.