ИИ-база знаний компании: как собрать ее из документов

Что такое ИИ-база знаний и зачем она компании?

ИИ-база знаний состоит из двух частей. Первая часть хранит документы компании, разбитые на фрагменты. Вторая часть — языковая модель, которая читает найденные фрагменты и формулирует ответ.

Такую схему называют RAG, от английского retrieval-augmented generation. Anthropic описывает ее так: система достает подходящий материал из базы и добавляет его к вопросу пользователя. Модель отвечает с опорой на найденные фрагменты, и ответ можно сверить с документом.

Поиск по обычной папке с регламентами идет по названиям файлов и точным словам. ИИ-база понимает вопрос «как оформить командировку в другой город» и находит нужный пункт положения, даже если в нем написано «служебная поездка». Ответ приходит с указанием документа и страницы, поэтому сотрудник сразу видит, откуда он взят.

Типичная ситуация: новый сотрудник спрашивает коллег о том, что давно записано в регламенте, и опытный сотрудник тратит время на одни и те же ответы. Как я собираю такую базу и что в нее входит, описано на странице ИИ-база знаний под документы вашей компании.

Какие документы подходят для базы?

Подходят документы с извлекаемым текстом. Это регламенты, должностные инструкции, шаблоны договоров, ответы службы поддержки, презентации и выгрузки из CRM.

Форматы сейчас редко становятся препятствием. Поисковый индекс Yandex AI Studio принимает Word, PDF, RTF, Excel, PowerPoint, письма Outlook, Markdown, CSV, HTML и простой текст. Лимиты на 22 октября 2026 года такие: до 10 000 файлов в одном индексе, до 128 МБ на файл и до 100 файлов за одну загрузку.

У других платформ списки уже. Инструмент file search в API OpenAI работает с .doc, .docx, .pdf, .pptx, .txt, .md и файлами кода. Таблиц Excel и CSV в его списке поддерживаемых форматов нет. Поэтому выбор платформы зависит от того, в чем у вас хранятся данные.

Больше всего проблем создают сканы без текстового слоя. В документации Anthropic сказано: PDF-скан без извлекаемого текста модель не может цитировать. Такие файлы сначала распознают, потом проверяют качество распознавания и только после этого загружают.

Перед загрузкой я бы составил таблицу из четырех колонок: документ, где он лежит, дата последней правки и кто за него отвечает. Такая опись за один проход показывает дубли, устаревшие версии и документы без хозяина.

Есть и документы, которые лучше оставить за пределами базы. Это черновики, устаревшие версии регламентов и личные папки сотрудников. Агент отвечает по тому, что ему дали, и старый регламент в индексе дает старый ответ.

Как ИИ находит ответ в документах?

Сначала система делит каждый документ на фрагменты. В материале Anthropic о Contextual Retrieval (2024) фрагменты занимают до нескольких сотен токенов. Токен — единица текста для модели, примерно часть слова.

Затем каждый фрагмент превращается в вектор. Это набор чисел, который передает смысл текста, и такие наборы хранятся в поисковом индексе рядом с исходными фрагментами. Когда сотрудник задает вопрос, система ищет фрагменты, близкие к нему по смыслу.

Поиск по смыслу пропускает точные обозначения. Номер приказа, артикул или код ошибки он находит хуже, чем обычный поиск по словам. Платформы соединяют оба способа. В Yandex AI Studio гибридный поиск включен по умолчанию: векторная часть ищет близкие формулировки, лексическая находит артикулы, имена и аббревиатуры.

Разбиение можно настроить. В Yandex AI Studio задаются размер фрагмента и перекрытие соседних фрагментов, чтобы мысль на границе не терялась. Если документ удобнее разбить вручную, платформа принимает готовые фрагменты длиной до 8000 знаков.

Найденные фрагменты попадают к модели вместе с вопросом сотрудника, и модель пишет ответ с указанием документа, из которого взят каждый фрагмент. У Claude ссылка на PDF содержит номера страниц, у OpenAI ответ приходит с цитатами из файлов.

Качество поиска можно измерить. Anthropic проверила прием, при котором к каждому фрагменту добавляется короткое пояснение о документе. Доля неудачных поисков в их тесте снизилась с 5,7% до 2,9%, а с переранжированием результатов до 1,9%.

Для небольшой базы индекс иногда не нужен. Anthropic называет порог в 200 000 токенов, это около 500 страниц, и предлагает такую базу передавать модели целиком в каждом запросе. С кэшированием запроса, по их данным, ответ приходит более чем в 2 раза быстрее, а стоимость запроса снижается на величину до 90%. Для архива в несколько тысяч документов этот вариант уже не подходит.

Подробнее механику поиска по документам я разобрал в статье RAG простыми словами.

Как поддерживать базу в актуальном состоянии?

База знаний устаревает вместе с документами. Если регламент изменили, а старую версию оставили в индексе, агент найдет обе и ответит по той, которая ближе к вопросу по смыслу.

Поэтому за каждой темой закрепляется ответственный сотрудник. Он загружает новую версию документа и удаляет старую, причем в Yandex AI Studio это делается в существующем индексе без пересборки с нуля.

Помогают метаданные. К файлу добавляют отдел, дату вступления в силу и статус документа. Yandex AI Studio фильтрует результаты поиска по метаданным индекса, поэтому агента можно настроить брать только действующие версии.

Журнал вопросов показывает, где база слабая. Если сотрудники часто спрашивают о чем-то, а агент отвечает «в материалах этого нет», значит, документа не хватает. Ответственный пишет его или дополняет существующий.

Ответы агента выборочно проверяет человек. Microsoft в документации Copilot пишет, что ответы генеративного ИИ не гарантированно верны на 100%. Пользователю советуют проверять результат перед тем, как отправлять его дальше.

Как разграничить доступ сотрудников?

Агент должен видеть ровно то, что видит сотрудник, задавший вопрос. Так устроен Microsoft Copilot: он показывает только данные, к которым у пользователя есть хотя бы право на просмотр. Семантический индекс Microsoft учитывает права конкретного пользователя при поиске.

Отсюда следует ограничение. Агент не исправляет ошибки в правах доступа, он их повторяет. Если папка с зарплатами по ошибке открыта всему отделу, агент тоже покажет ее содержимое. Поэтому Microsoft советует настроить права в SharePoint так, чтобы каждый документ видели только нужные люди и группы.

Я бы начал с аудита прав на папки, которые пойдут в базу, и только потом настраивал доступ по отделам и ролям. Бухгалтер видит учетные регламенты, менеджер по продажам видит скрипты и условия договоров.

Персональные данные требуют отдельного решения. Закон 152-ФЗ требует хранить базы с персональными данными граждан России на территории страны (часть 5 статьи 18). Передача обработки внешнему сервису оформляется поручением по части 3 статьи 6. Статья 19 того же закона обязывает оператора защищать персональные данные от неправомерного доступа. Поэтому до загрузки документов решают, где будет индекс и какая модель будет отвечать.

Агент делает три вещи: читает документы, ищет фрагменты и пишет ответ со ссылкой. Он не меняет документы, не выдает доступ и не решает спорные вопросы. Ответ на вопрос с юридическими или финансовыми последствиями проверяет ответственный сотрудник.