Галлюцинации нейросети: почему ИИ выдумывает и как это проверить

Что такое галлюцинации нейросети?

Так называют ошибку особого рода. Модель не отказывается отвечать и не сообщает о сомнении, она выдает гладкий текст с неверным содержанием, и по тону его не отличить от верного.

Адам Калаи и соавторы привели пример в статье от 4 сентября 2025 года. Они трижды спросили модель DeepSeek-V3 о дне рождения Калаи. Модель назвала три разные даты, и все три оказались неверными. На вопрос о названии его диссертации ChatGPT, DeepSeek и Llama выдали разные названия, университеты и годы. Верного не было ни одного.

Галлюцинации бывают двух видов. Первый вид противоречит фактам о мире: несуществующий закон, чужая дата, выдуманная книга. Второй расходится с документом, который модель получила в запросе. Например, модель неверно пересказала условие договора или сослалась на пункт, где этого условия нет.

Исследователи Стэнфорда в работе 2024 года о юридических ИИ-сервисах считают галлюцинацией оба случая. Ошибкой у них считается и неверный ответ, и ответ со ссылкой на источник, который вывод не подтверждает. Второй случай опаснее, потому что ссылка создает видимость проверки.

Почему нейросеть выдумывает?

Языковая модель учится продолжать текст: по началу фразы она предсказывает следующее слово, и так слово за словом складывается весь ответ. Грамматика и известные факты повторяются в обучающих данных много раз, и модель их усваивает. День рождения частного человека встречается один раз или не встречается совсем.

Калаи и соавторы описали эту связь расчетом. Допустим, 20% дат рождения встречаются в обучающих данных ровно один раз. Тогда базовая модель ошибется как минимум на 20% вопросов о датах рождения.

Вторую причину авторы видят в способе оценки. Большинство тестов дают балл за верный ответ и ноль за «не знаю». При такой шкале угадать выгоднее, чем промолчать, поэтому модели учатся угадывать.

OpenAI показала разницу на тесте SimpleQA в материале от 5 сентября 2025 года. Модель gpt-5-thinking-mini отказалась отвечать в 52% вопросов, ответила верно в 22% и ошиблась в 26%. Модель o4-mini отказывалась в 1% случаев, дала 24% верных ответов, а в 75% вопросов выдала неверный ответ. Это почти втрое больше.

Ваших договоров, прайсов и регламентов модель при обучении не видела. Вопрос о них для нее похож на вопрос о дне рождения незнакомого человека. Без доступа к документам она скорее угадает, чем признается, что данных нет.

Как галлюцинация выглядит в договоре и платеже?

Самый известный юридический случай произошел в федеральном суде Нью-Йорка. В деле Mata v. Avianca адвокаты истца подали документ со ссылками на судебные решения, которых не существует. Решения вместе с цитатами из них сгенерировал ChatGPT. 22 июня 2023 года судья Кевин Кастел оштрафовал адвокатов и их фирму на 5000 долларов.

Специализированные сервисы ошибаются реже, но ошибаются. В 2024 году стэнфордская группа проверила три ИИ-инструмента для юридического поиска: Lexis+ AI, Ask Practical Law AI и Westlaw AI-Assisted Research. Они выдавали галлюцинации в 17–33% ответов. Модели общего назначения в работе тех же авторов ошибались в 58–88% вопросов о решениях федеральных судов США.

Поэтому при выборе инструмента для юротдела важно, откуда он берет ответ и как его показывает. Этот критерий я разобрал в статье «ИИ для юристов: как выбрать сервис и где проходит граница».

С деньгами похожая история. В 2024 году трибунал Британской Колумбии рассмотрел дело Moffatt v. Air Canada. Чат-бот авиакомпании пообещал пассажиру, что скидку на перелет в связи со смертью близкого можно оформить в течение 90 дней после покупки билета. Правила компании такого возврата не допускали.

Авиакомпания заявила, что бот отвечает за свои слова сам. Трибунал отклонил этот довод и обязал перевозчика вернуть пассажиру 650,88 канадского доллара. Ответственность за ответ бота осталась на компании.

Внутри компании такая же ошибка выглядит буднично. Агент читает плохо отсканированный счет, заполняет заявку на оплату и доходит до поля с номером договора, которое на скане не читается. Модель достраивает номер по образцу соседних документов. Номер выглядит правдоподобно, и без сверки с первичным документом его никто не заметит.

Как бороться с галлюцинациями нейросети?

Убрать галлюцинации полностью нельзя. Anthropic в руководстве для Claude пишет, что приемы снижают число выдумок, но не устраняют их. Важные сведения, по тому же руководству, нужно проверять. Пять способов из таблицы работают вместе и закрывают слабые места друг друга.

Поиск по документам

RAG сначала находит фрагменты в ваших документах, затем модель пишет ответ по ним, поэтому условия договора она больше не угадывает: текст договора лежит у нее в запросе. Как устроен поиск перед ответом и когда он не подходит, я описал в статье «RAG простыми словами: как ИИ отвечает по документам компании».

Цитата источника

Anthropic советует просить модель подкреплять каждое утверждение цитатой из документа и удалять те утверждения, для которых цитата не нашлась. Для документов длиннее 20 тыс. токенов руководство предлагает сначала выписать дословные цитаты, затем выполнять задачу только по ним. В API Claude для этого есть функция Citations: она возвращает цитату и номер страницы PDF.

Разрешение сказать «не знаю»

Тест SimpleQA показывает, что отказ отвечать сокращает число ошибок. Руководство Anthropic рекомендует прямо разрешить модели сказать, что данных не хватает. В инструкцию для агента базы знаний я бы добавил фразу: если в найденных документах ответа нет, так и напиши.

Самопроверка

Яндекс 29 августа 2024 года описал, как собирает короткие описания мест в Картах. Модель сверяет каждое утверждение с отзывами, по которым писала текст, и удаляет неподтвержденное. По данным команды, неточностей стало в шесть раз меньше.

Есть прием проще. Anthropic предлагает задать один и тот же вопрос несколько раз и сравнить ответы. Расхождения указывают на выдумку, как три разные даты рождения в примере Калаи.

Проверка человеком

Последний способ закрывает то, что пропустили первые четыре. Ответ модели по деньгам, договорам и нормам права остается черновиком, пока его не сверил ответственный сотрудник.

Как проверить ответ нейросети?

Если ответ пришел со ссылкой, проверка сводится к сверке с документом. Без ссылки ответ стоит считать непроверенным.

1. Найдите источник у каждого факта: документ, страницу, пункт.
2. Откройте источник и сверьте формулировку. Ссылка подтверждает место, правильность пересказа она не гарантирует.
3. Задайте тот же вопрос 2–3 раза в новых диалогах. Разные ответы на один вопрос указывают на выдумку.
4. Сверьте суммы, даты и реквизиты с первичным документом или учетной системой.
5. Проверьте по правовой базе, что упомянутые нормы и судебные решения существуют и действуют.

На проверке легко ошибиться в двух местах. Сотрудник видит ссылку и не открывает ее. Или он проверяет вывод модели по памяти, хотя модель как раз уверенно пересказала старую редакцию документа.

Что агент делает сам и где нужен человек?

Агент базы знаний ищет фрагменты в документах, которые ему открыли, и пишет ответ с цитатой. Он видит только материалы, доступные роли сотрудника. Если фрагментов нет, агент сообщает, что в материалах ответа нет, и передает вопрос ответственному за тему.

Агент не оплачивает счета, не подписывает договоры и не отправляет письма от имени компании, пока компания сама не подключит ему такие инструменты и не выдаст права.

Человек решает, какие документы попадут в базу, и на запуске сверяет выборку ответов с источниками. Ответы по деньгам, договорам и нормам права он подтверждает до решения.

При ошибке агент ответит по устаревшему или неверно распознанному документу. Цитата в ответе поможет быстро найти этот документ и заменить его. Для старта я бы взял один отдел, права только на чтение и копию документов.

Если хотите проверить, как агент будет отвечать по вашим регламентам, начните с перечня документов, по которым чаще всего спрашивают. С этим перечнем можно прийти на разбор ИИ-базы знаний, которая отвечает со ссылкой на источник. Другие материалы о поиске по документам собраны в рубрике «База знаний».