Эмбеддинг простыми словами: как ИИ находит смысл в тексте

Что такое эмбеддинг простыми словами?

Компьютер работает только с числами, поэтому текст для него переводят в набор чисел. В документации Yandex AI Studio этот перевод называется векторизацией, а его результат — эмбеддингом. Длина вектора фиксированная и зависит от модели.

Представьте карту. У точки на карте две координаты, у эмбеддинга их сотни. Модель расставляет тексты так, что фразы о похожем оказываются рядом.

Возьмем фразы «как оформить отпуск», «хочу взять неделю отгулов» и «сломался принтер в бухгалтерии». У первых двух нет общих слов, но их векторы окажутся ближе друг к другу, чем к вектору третьей фразы. Поиск по словам такую пару не свяжет.

OpenAI перечисляет шесть задач для эмбеддингов: поиск, кластеризация, рекомендации, поиск аномалий, оценка разнообразия и классификация. Для базы знаний компании нужен первый пункт: поиск по своим документам.

Как появился эмбеддинг слова?

Эмбеддинг слова стал рабочим инструментом в 2013 году. В январе Томаш Миколов и коллеги из Google опубликовали статью «Efficient Estimation of Word Representations in Vector Space». Они предложили две архитектуры, CBOW и Skip-gram. CBOW угадывает слово по соседним словам, Skip-gram угадывает соседей по слову.

Авторы пишут, что на корпусе из 1,6 млрд слов модель выучила качественные векторы меньше чем за сутки. Реализацию выложили под названием word2vec. Для каждого слова словаря она строит свой вектор.

С векторами слов можно считать. Авторы приводят пример: если из вектора «King» вычесть «Man» и прибавить «Woman», ближайшим окажется вектор слова «Queen». Ближайшее слово авторы искали по косинусному расстоянию, о нем ниже.

У такого подхода есть ограничение. Word2vec дает один вектор на слово, поэтому «ключ» от двери и «ключ» как родник получают общий вектор. Современные модели учитывают контекст слова и умеют кодировать текст целиком.

Что такое эмбеддинг в нейросети?

Внутри нейросети с эмбеддинга начинается работа с текстом. Модель делит текст на токены, кусочки слов, и переводит каждый токен в вектор. В статье о трансформере 2017 года длина такого вектора равна 512. Трансформер лежит в основе современных языковых моделей.

Эти векторы сеть передает в следующие слои и наружу обычно не отдает. Для поиска по документам компании нужен другой результат: один вектор на весь фрагмент текста, будь то пункт договора или вопрос сотрудника. Его выдают отдельные модели эмбеддингов, например text-embedding-3-small и text-embedding-3-large у OpenAI или пары моделей для документов и запросов у Yandex AI Studio.

У Yandex AI Studio две версии моделей. В первой это text-search-doc и text-search-query, во второй — text-embeddings-v2-doc и text-embeddings-v2-query. Модель для документов кодирует фрагменты базы, модель для запросов кодирует короткий вопрос.

Как сравнивают два эмбеддинга?

Близость векторов чаще всего меряют косинусом угла между ними. Если векторы смотрят в одну сторону, косинус близок к единице, и тексты похожи по смыслу. Чем больше угол, тем меньше общего у текстов.

OpenAI рекомендует косинусную близость и пишет, что выбор меры обычно мало влияет на результат. Свои векторы OpenAI приводит к единичной длине. Тогда косинус равен скалярному произведению, а сортировка по косинусу совпадает с сортировкой по евклидову расстоянию.

В примере из документации Yandex AI Studio программа считает косинусное расстояние от вопроса «когда день рождения Пушкина?» до нескольких текстов. Близость равна единице минус расстояние, и самым близким оказывается текст о Пушкине.

Сравнивать можно только векторы одной модели, поэтому при смене модели всю базу пересчитывают. Об этом и о размерах векторов я писал в статье «RAG-система: из каких частей состоит и как ее собрать для компании». Параметры моделей Yandex AI Studio и OpenAI я сверил с документацией 23 октября 2026 года.

Эмбеддинг — это способ сжатия текста?

В тестах по нейросетям встречается вариант ответа «способ сжатия текста». Я бы ответил «отчасти»: из трех утверждений в таблице верно только первое, и то с оговоркой.

Архив распаковывают без потерь. С эмбеддингом так не получится: он сохраняет смысл для сравнения и теряет точную формулировку. Из-за этого база для поиска хранит пару из фрагмента текста и его вектора.

Восстановить текст по вектору все же можно: в 2023 году Джон Моррис и соавторы показали метод, который дословно вернул 92% текстов длиной 32 токена. Тем же методом они извлекли полные имена из медицинских записей.

Поэтому к векторам с персональными данными применяют те же правила, что к исходным документам.

Если вы храните такие векторы в облаке, по 152-ФЗ нужно учесть статью 12 о передаче данных за рубеж и часть 5 статьи 18 о первичной базе на территории России.

Как найти похожие пункты в договорах?

Юристу часто нужен ответ на вопрос «как мы раньше формулировали это условие». Для этого договоры и шаблоны режут на пункты и для каждого пункта считают эмбеддинг. Новый пункт превращают в вектор и ищут ближайшие в архиве.

Поиск найдет пункт об ответственности за просрочку, даже если в одном договоре написано «неустойка», а в другом «пени». Юрист получает несколько формулировок из прошлых договоров со ссылками на документы.

Близость по смыслу не означает юридического совпадения.

Пункты «пени 0,1% за день» и «пени 0,5% за день» получат близкие векторы, хотя для компании условия разные. Числа, даты и номера статей ловит поиск по словам. В Yandex AI Studio индекс по умолчанию гибридный, он соединяет векторный поиск с лексическим.

Как агент сверяет договор с правилами отдела и где он ошибается, я разобрал в статье «Проверка договоров с помощью ИИ: возможности и ограничения».

Как найти похожий вопрос в базе знаний?

Сотрудники задают один вопрос разными словами. Если у каждого вопроса в базе есть эмбеддинг, новый вопрос сравнивают с уже отвеченными. При высокой близости система показывает готовый ответ и ссылку на регламент.

Тот же прием находит дубли. Векторы помогают собрать в группу вопросы «как вернуть деньги за заказ» и «оформить возврат оплаты». Так видно, о чем спрашивают чаще и где не хватает инструкции.

Порог близости, после которого система считает вопросы одинаковыми, у вашей базы будет свой. Его подбирают на реальных вопросах отдела. Я бы взял 30–50 пар вопросов, разметил их вручную и сравнил разметку с оценкой модели. Число пар здесь мой рабочий ориентир.

Ответ по найденным фрагментам пишет языковая модель, и эта связка называется RAG. Как она устроена, я объяснил в статье «RAG простыми словами: как ИИ отвечает по документам компании». Сборку базы целиком я описал в материале «ИИ-база знаний компании: как собрать ее из документов».

Где хранить эмбеддинги и чем их считать?

Векторы хранят в векторной базе данных, она быстро находит ближайшие к вопросу. Открытые базы Qdrant, Chroma и Milvus можно поставить на свой сервер. У каждой есть официальный MCP-сервер, через который ИИ-агент ищет по базе: Qdrant MCP Server, Chroma MCP Server и MCP-сервер для Milvus.

Считать эмбеддинги можно облачной моделью или моделью на своем сервере. Облачные модели Yandex AI Studio и OpenAI я назвал выше. Эмбеддинги и переранжирование результатов агенту дает, например, Jina AI MCP.

Для первой пробы я бы начал с одной модели и одной коллекции примерно на сотню документов одного отдела. Этого хватит, чтобы проверить порог близости на своих вопросах до выбора постоянной базы.

Где граница между поиском и человеком?

Эмбеддинги отвечают за одну операцию: поиск похожих текстов.

Система с ними ищет пункты договоров и вопросы, сортирует их по близости и показывает источник. Она видит только загруженные в индекс документы. Документы она не меняет.

Решения остаются за человеком. Юрист решает, подходит ли найденная формулировка к новому договору. Ответственный за базу знаний проверяет, что найденный ответ не устарел. Он же разбирает вопросы, для которых поиск ничего не нашел.

При ошибке поиск вернет похожий по смыслу, но неподходящий фрагмент. По ссылке на источник сотрудник сверит фрагмент с документом. Если вы хотите проверить идею на своих документах, приходите на разбор ИИ-базы знаний компании с перечнем вопросов, которые сотрудники задают чаще всего.