RAG простыми словами: как ИИ отвечает по документам компании

Что такое RAG и откуда выдумки?

RAG расшифровывается как retrieval-augmented generation, генерация с опорой на поиск. Термин ввела группа исследователей во главе с Патриком Льюисом в статье 2020 года. Работу приняли на конференцию NeurIPS 2020.

В статье модель получает два вида памяти. Первая хранится в весах модели и выучена на обучении. Вторая лежит снаружи, в индексе документов, и ее можно пополнять без переобучения.

Для компании это значит, что модель увидит вчерашний регламент сразу после загрузки в индекс, без нового цикла обучения.

Без внешней памяти модель знает только то, что видела при обучении, а ваших регламентов, прайсов и договоров в обучающих данных нет. На вопрос о них модель все равно отвечает, и ответ звучит уверенно.

Причину разобрали Адам Калаи и соавторы в статье от 4 сентября 2025 года. Обучение и оценка моделей поощряют догадку больше, чем признание «не знаю». Поэтому модель угадывает там, где ей стоило бы промолчать.

RAG меняет условия задачи. Модель получает в запросе фрагменты ваших документов вместе с вопросом сотрудника и строит ответ на их основе. Если фрагментов нет, ее можно настроить так, чтобы она сказала об этом прямо.

Как устроен поиск перед ответом?

Поиск работает в три шага: подготовка документов, поиск фрагментов и ответ. Подготовка идет заранее. Два других шага повторяются на каждый вопрос сотрудника, и сотрудник видит только готовый ответ со ссылкой.

На подготовке документы режутся на куски, их называют чанками. В OpenAI File Search кусок по умолчанию занимает 800 токенов, а соседние куски перекрываются на 400 токенов. Перекрытие нужно, чтобы мысль на стыке двух кусков не потерялась. Yandex AI Studio советует мелкие куски для вопросов-ответов и коротких абзацев и крупные для регламентов и длинных инструкций, где мысль занимает несколько страниц.

Каждый кусок превращается в вектор, набор чисел, который описывает смысл текста, и все векторы вместе складываются в поисковый индекс. Потом система кодирует в вектор и вопрос сотрудника, а затем ищет куски с близким смыслом.

Одного смыслового поиска мало для артикулов, фамилий и номеров договоров. Поэтому сервисы добавляют поиск по словам. В Yandex AI Studio индекс по умолчанию гибридный: векторный поиск ищет по смыслу, лексический ловит точные совпадения названий и аббревиатур.

Anthropic в материале от 19 сентября 2024 года описала такую же связку векторов и алгоритма BM25. Компания добавила к каждому куску короткое пояснение из всего документа. Доля неудачных поисков снизилась с 5,7% до 2,9%, на 49%. С повторной сортировкой результатов она упала до 1,9%, на 67%.

Найденные куски попадают в запрос к модели вместе с вопросом. В том же исследовании Anthropic лучше всего сработала подача 20 кусков, а не 5 или 10. Модель читает их и пишет ответ, а в инструкции ей можно запретить отвечать без найденного фрагмента и потребовать ссылку на документ.

У сервисов есть ограничения по объему. Yandex AI Studio принимает до 10 000 файлов в одном хранилище, каждый до 128 МБ. OpenAI ограничивает файл размером 512 МБ и 5 млн токенов.

Как собрать такую базу из документов отдела и кто за нее отвечает, разобрано в материале про ИИ-базу знаний компании.

Чем RAG отличается от дообучения?

RAG дает модели знания в момент вопроса, дообучение меняет ее поведение. Так разделяет подходы руководство OpenAI по точности ответов.

По этому руководству RAG закрывает три случая: модели не хватает сведений, сведения устарели или они закрыты внутри компании. Дообучение нужно, когда модель отвечает не в том формате, не тем тоном или непоследовательно.

Для базы знаний разница практическая. Регламент поменялся, и в RAG вы заменяете документ в индексе. Дообученную модель пришлось бы обучать заново на новом наборе примеров. Такой набор вопросов и правильных ответов кто-то в компании должен собрать, проверить и обновлять при каждом изменении правил.

Второе отличие в проверке. RAG показывает фрагмент, по которому построен ответ, и сотрудник может открыть документ и сверить формулировку сам. После дообучения знание растворяется в весах модели, и источник у ответа пропадает.

Подходы совмещают, когда нужны и свежие документы, и строгий формат. Например, модель дообучают отвечать по шаблону службы поддержки, а факты она берет из индекса.

Как проверить, что ответ взят из документа?

Самый надежный способ — показать сотруднику цитату и место в документе. Тогда он проверяет ответ за один клик.

В API Claude для этого есть функция Citations. Модель возвращает цитату из документа и ее координаты. У PDF это номера страниц, у простого текста позиции символов. Модель цитирует отдельное предложение или цепочку соседних предложений, поэтому сотрудник видит тот абзац, на который опирается ответ. Документация Anthropic гарантирует, что ссылки указывают на переданные документы. Проверено по документации Anthropic на 22 октября 2026 года.

У функции есть границы. PDF-скан без текстового слоя процитировать нельзя: картинки она не цитирует. Файлы Word и Excel придется сначала перевести в текст.

Ссылка подтверждает, откуда взят фрагмент, но правильность пересказа она не гарантирует: модель может неточно передать условие или срок из документа. Поэтому на запуске ответственный за тему сверяет выборку ответов с документами.

Вторая проверка — журнал вопросов без ответа. Если агент часто пишет, что в материалах ничего нет, значит, в базе не хватает документа. Если он отвечает уверенно без ссылки, настройку нужно править.

Что агент делает сам и где нужен человек?

Агент ищет фрагменты, пишет ответ и прикладывает ссылку. Он видит только документы, которые вы загрузили в индекс и открыли его роли. Агент не меняет документы, не отправляет письма и не принимает решений, пока вы сами не подключили ему такие инструменты и права.

Доступы задаются метаданными. В OpenAI к файлу можно привязать до 16 атрибутов и фильтровать поиск по ним. В Yandex AI Studio фильтр работает по метаданным индекса, например по отделу или уровню доступа.

Человек решает, какие документы попадут в базу, и на запуске проверяет выборку ответов. Еще он отвечает на вопросы, которые агент передал ему из-за пустого поиска.

При ошибке агент ответит по устаревшему или неверному документу, и ссылка в ответе поможет ответственному быстро найти этот документ и заменить его в индексе. Для старта я бы взял один отдел, права только на чтение и копию документов.

Когда RAG не подходит?

RAG не нужен, если вся база помещается в запрос модели. Anthropic называет порог около 200 тыс. токенов, это примерно 500 страниц. Документы такого объема можно передать модели целиком. Если база больше порога или каждый вопрос касается малой ее части, индекс экономит запрос: модель читает 20 кусков вместо всей базы.

RAG плохо считает. Вопрос «сколько договоров подписано в сентябре» требует запроса к учетной системе. Поиск вернет 20 похожих кусков, сумму по всей базе он не соберет.

Качество ответов зависит от порядка в документах. Если в базе лежат две версии одного регламента, агент найдет обе и может ответить по старой, поэтому порядок в документах наводят до запуска.

Сканы без текстового слоя поиск не видит. Таблицы, схемы и картинки после нарезки на куски теряют структуру, поэтому такие материалы распознают и переводят в текст отдельно, до загрузки в индекс.

Для действий в системах нужен агент с инструментами. RAG только отвечает по документам. Как устроен агент, который сам открывает заявку и записывает результат, описано в разборе что такое ИИ-агент для бизнеса.

Если хотите проверить, подходит ли RAG вашему отделу, начните с перечня документов, по которым чаще всего спрашивают. С этим перечнем можно прийти на разбор ИИ-базы знаний для вашей компании.