Локальная LLM и RAG в компании: когда данные нельзя отдавать в облако

Что такое локальная LLM и кому она нужна?

Локальной называют открытую модель, файлы которой компания скачала и запустила на своем оборудовании. Как устроена сама языковая модель, я объяснил в статье «LLM простыми словами: что такое большая языковая модель». Ответ модель считает на оборудовании компании, и текст запроса не покидает ее сеть. Облачная модель работает у провайдера, а компания получает только ответ через API.

Локальная модель нужна в трех случаях.

• В документах есть персональные данные или коммерческая тайна.
• Служба безопасности запрещает внешние API.
• Запросов так много, что свое железо обходится дешевле оплаты облака.

Если ни одного условия нет, облачную модель проще запустить и обслуживать.

Сама по себе модель знает только то, на чем ее обучили. Регламенты компании ей подают через RAG: поиск находит фрагменты документов и передает их модели вместе с вопросом. Все части такой системы я разобрал в статье «RAG-система: из каких частей состоит и как ее собрать для компании».

Чем облако в России отличается от своего сервера?

Внутри России у компании три варианта. Они различаются тем, кто обрабатывает данные, какое железо нужно и какие модели доступны.

Для облака в России по API свое железо не нужно. Пример — Yandex AI Studio, где открытые модели доступны в общем инстансе. Частное облако — это выделенный инстанс модели или виртуальная машина с GPU, на которую компания сама ставит модель.

У Yandex AI Studio выделенные инстансы в статусе Preview. В списке пять моделей: Qwen 2.5 VL 32B Instruct, Qwen 2.5 7B Instruct, Gemma 3 4B it, Gemma 3 12B it и T-pro-it-2.0-FP8. Документация обещает параметры скорости, на которые не влияет трафик других пользователей. Про отдельное оборудование там ничего не сказано. Я проверил список 23 октября 2026 года.

Облако за рубежом в таблицу не попало. При хранении данных там действуют часть 5 статьи 18 закона 152-ФЗ о первичной базе в России и статья 12 о трансграничной передаче. Какие документы нужны для каждого варианта, я разобрал в статье «Персональные данные и нейросети: что можно загружать по 152-ФЗ».

Сколько памяти GPU нужно локальной LLM?

Объем памяти считают по числу параметров. Документация Hugging Face дает правило: модели с X миллиардами параметров в точности bfloat16 нужно около 2X ГБ видеопамяти только под веса. Модели на 8 млрд параметров нужно около 16 ГБ, модели на 32 млрд — около 64 ГБ.

Квантование уменьшает этот объем. llama.cpp поддерживает целочисленное квантование от 1,5 до 8 бит и запускает модель частично на процессоре, если видеопамяти не хватает. Такая модель работает медленнее, а качество ответов на сжатых весах проверяют отдельно.

Производители моделей пишут требования в карточках. OpenAI указывает, что gpt-oss-120b помещается на одну GPU с памятью 80 ГБ, например NVIDIA H100, а gpt-oss-20b работает в 16 ГБ памяти. Оба значения даны для квантования MXFP4, в котором модели выпущены.

Память занимают и веса, и контекст. Документация Ollama предупреждает, что длинный контекст требует больше памяти. По умолчанию Ollama дает 4 тыс. токенов контекста при видеопамяти меньше 24 ГиБ, 32 тыс. при 24–48 ГиБ и 256 тыс. от 48 ГиБ. Для агентов и поиска она советует ставить не меньше 64 тыс. токенов.

Цифры скорости ответа я сюда не включаю. Они зависят от карты, длины контекста и числа одновременных запросов, и мерить их нужно на своем железе. Требования я сверил с документацией 23 октября 2026 года.

Какие открытые модели можно брать в коммерцию?

Открытые веса не означают свободную лицензию. Условия коммерческого использования читают в файле лицензии на странице модели.

У YandexGPT-5-Lite порог посчитан по выходным токенам. Если компания его достигла, в течение 30 календарных дней она обязана написать в Яндекс и согласовать условия. Без обращения или соглашения с Яндексом лицензия аннулируется.

У T-pro-it-2.0 в карточке есть таблица сравнения с Qwen3-32B на русских тестах. Ее составил разработчик модели, и на ваших документах результат может отличаться. Лицензии проверены по страницам моделей на Hugging Face 23 октября 2026 года.

Чем запустить модель на сервере?

Модель запускает программа-сервер. Она загружает веса в память и отдает ответы по API, который понимают приложения и агенты.

Ollama

Ollama распространяется по лицензии MIT и работает на macOS, Windows и Linux. По умолчанию сервер слушает только 127.0.0.1, порт 11434, и снаружи недоступен. Ollama работает с видеокартами NVIDIA с compute capability от 5.0 и драйвером версии 550 или новее.

У Ollama есть облачные модели, и запросы к ним уходят на серверы Ollama. Для работы только на своем железе документация советует переменную OLLAMA_NO_CLOUD=1 или настройку disable_ollama_cloud. Я бы включал этот режим на любом рабочем сервере с документами компании.

vLLM

vLLM подходит для сервера, к которому обращается много сотрудников одновременно. Он объединяет входящие запросы в пакеты и отдает API в формате OpenAI. Для карт NVIDIA ему нужна compute capability от 7.5, то есть T4, A100, L4, H100 и новее.

llama.cpp

llama.cpp написан на C и C++ и распространяется по лицензии MIT. Он работает с квантованными моделями в формате GGUF и запускает модель, которая не помещается в видеопамять целиком. Это вариант для сервера без большой GPU.

Для пилота на один-два отдела я бы начал с Ollama: ее проще поставить и обновлять. vLLM имеет смысл, когда в журнале появится очередь запросов.

Как собрать локальный RAG?

Локальный RAG — тот же поиск по документам, только каждая часть работает внутри компании. Модель эмбеддингов, векторная база и модель ответа стоят на своем сервере.

1. Загрузка. Docling, библиотека разбора документов, читает PDF, DOCX и таблицы на вашем сервере, для агента есть Docling MCP.
2. Эмбеддинги. Ollama умеет считать их локально, документация приводит пример с моделью embeddinggemma.
3. Векторная база. Qdrant ставится на свой сервер, агенту его открывает Qdrant MCP Server.
4. Ответ. Локальная модель получает вопрос и найденные фрагменты и пишет ответ со ссылкой на документ.

Готовую сборку для начала дает haiku.rag: поиск по документам с цитатами и встроенной базой LanceDB, с сервером MCP. Она подходит для проверки идеи на своем ноутбуке. Для отдела с правами доступа систему собирают по частям.

Права на документы в локальном RAG работают так же, как в облачном. Каждый фрагмент несет метку отдела, и поиск отдает сотруднику только разрешенное. Свой сервер утечку внутри компании не предотвращает, его защищают ролями и журналом.

Как сделать ИИ-агента на ПК?

Для личных задач хватит ноутбука с 16 ГБ памяти. LM Studio с июля 2025 года бесплатна и для работы, а с версии 0.3.17 подключает локальные и удаленные MCP-серверы через файл mcp.json. Документация LM Studio сама предупреждает, что сервер может выполнять код и читать файлы. Ollama становится агентом через терминальный клиент MCP Client for Ollama. Локальный MCP-сервер, например файловый из набора эталонных серверов MCP, запускается на том же компьютере и работает с правами пользователя. Версии проверены 23 октября 2026 года, а устройство такого сервера я объяснил в статье «MCP-сервер простыми словами: как ИИ подключается к вашим системам».

Хватит ли качества локальной модели?

Качество локальной модели проверяют на своих вопросах. Общие рейтинги показывают среднее по тестам, а сотрудник спрашивает о пунктах своих регламентов.

Для проверки я бы собрал 30–50 реальных вопросов отдела с эталонными ответами. Одни и те же вопросы задают облачной модели и двум локальным, затем ответы сверяет ответственный за тему сотрудник. Число вопросов здесь мой ориентир.

Частая ошибка — короткий контекст по умолчанию. При 4 тыс. токенов в Ollama найденные фрагменты не помещаются в запрос, и модель отвечает по обрывкам. Перед сравнением контекст поднимают до значения, которое советует документация.

Вторая ошибка — сравнивать модели разного размера на разном железе. Сначала выбирают модель, которая проходит проверку по качеству, затем подбирают под нее GPU.

Где граница между моделью и человеком?

Локальная модель ищет фрагменты, пишет ответ и прикладывает ссылку на документ. Она видит только загруженные документы и только в пределах прав сотрудника. Решений она не принимает и документы не меняет.

Человек отвечает за сервер, обновления модели и версии документов. Ответственный за тему проверяет выборку ответов на запуске и разбирает вопросы без ответа. При ошибке модель уверенно перескажет старую версию регламента, и ссылка в ответе приведет к документу, который нужно заменить.

Для пилота я бы взял один отдел, Ollama с отключенным облаком и российское облако для сравнения качества. С перечнем документов и требованиями службы безопасности можно прийти на разбор ИИ-базы знаний на своем сервере или в облаке. Другие материалы о поиске по документам собраны в рубрике «База знаний».