Что такое эмбеддинг: набор чисел, который отражает смысл куска текста. Как по близости этих чисел находят похожие заметки, чем это отличается от поиска по словам и от языковой модели, где такой поиск ломается и как проверить его на своих данных. Это не обзор всей схемы RAG, а разбор самого механизма «текст → числа → близость».
Все дорожки — /put. Прошлая — почему модель уверенно выдумывает факты.
Зачем это в работе. Поиск по словам находит только то, что буквально совпало. Если в заметке написано «отпуск переносится», а вы спросили «можно ли сдвинуть отпуск», совпадения слов мало, и нужный кусок может не попасть в ответ. Превращение текста в числа даёт другой способ: сравнивать смысл, а не буквы. Это основа поиска по своим документам, когда бот отвечает по вашим файлам, а не «из головы».
Представьте полку с книгами. Поиск по словам — это как искать по точному названию на корешке: есть слово «перенос» — нашли, нет — пропустили. Поиск по смыслу — как спросить библиотекаря «где про перенос отпуска», и он достанет книгу, где написано «сдвиг дней отдыха», потому что смысл рядом. Чтобы программа умела такое, ей нужен способ измерить «рядом по смыслу» числом.
Этот способ называется эмбеддинг (embedding): специальная модель берёт кусок текста и выдаёт длинный список чисел — вектор. Похожие по смыслу куски получают близкие списки, разные — далёкие. Вопрос тоже превращают в такой список и ищут в хранилище ближайшие. Это сравнение чисел, а не чтение «как человек».
Ограничение важное сразу: эмбеддинг не понимает текст и не отвечает на вопрос. Он только ставит куски на «карту смысла», чтобы потом можно было найти соседей. Ответ пишет уже языковая модель, когда ей положат найденные куски в запрос. Если на карте рядом оказались не те соседи, ответ будет опираться на неверную опору, даже если модель честная.
Чем это отличается от «просто положить весь файл в чат»: длинный файл часто не влезает в окно контекста и дорого стоит. Эмбеддинги позволяют заранее нарезать заметки на куски, сохранить их числа один раз и при каждом вопросе доставать только несколько ближайших. Подробный обзор всей цепочки поиска — на дорожке поиска по заметкам; здесь разбираем именно шаг «текст → числа».
Подробный пример. У вас три короткие заметки: (1) «Отпуск можно перенести на следующий год по заявлению», (2) «Компенсация за неиспользованный отпуск считается по среднему», (3) «Пароль меняют раз в 90 дней». Вопрос: «Можно ли сдвинуть отпуск?» По словам совпадений почти нет: «сдвинуть» нет ни в одной заметке. По смыслу первая заметка должна оказаться ближе к вопросу, чем третья. Если ваша система достаёт первую — механизм работает на этом примере; если достаёт третью — числа «думают», что безопасность ближе к отпуску, и искать причину уже в модели эмбеддингов или в нарезке, а не в языковой модели.
Где обычно ошибаются.
Эмбеддинг (embedding). набор чисел, которым модель кодирует смысл куска текста.
Вектор. тот же набор чисел, записанный как точка в многомерном пространстве.
Поиск по смыслу (semantic search). поиск ближайших векторов, а не совпадений слов.
Поиск по словам (keyword search). поиск по буквальному совпадению слов или их форм.
Кусок текста (chunk). короткий отрывок документа, который отдельно превращают в вектор.
Карта смысла. образное название пространства, где близкие по смыслу куски лежат рядом.
Кандидат. кусок, который поиск предложил как возможную опору для ответа.
Окно контекста. сколько текста языковая модель может увидеть за один запрос.
Зачем это в работе. Без понимания, как считают близость, вы не отличите нормальный промах поиска от поломки настройки. Если знаете, что сравниваются углы между векторами, проще проверить: один и тот же вопрос в двух формулировках должен давать близкие числа, а случайный кусок — далёкие.
Модель эмбеддингов — отдельная небольшая нейросеть. Её обучали на парах текстов: «похожие» сближать, «разные» раздвигать. На вход она принимает текст (часто с ограничением длины, например около 512–8192 токенов в зависимости от модели) и на выходе отдаёт фиксированный список чисел: часто 384, 768 или 1536 чисел. Длина этого списка называется размерностью (dimension). Текст «отпуск можно перенести» и текст «можно сдвинуть дни отдыха» после такой модели должны дать близкие списки.
Близость обычно считают косинусным сходством (cosine similarity). Геометрически это мера угла между двумя векторами: если они смотрят почти в одну сторону, сходство близко к 1; если под прямым углом — около 0; если в противоположные — отрицательное. На практике векторы часто нормализуют (доводят длину до 1), и тогда косинусное сходство совпадает с обычным скалярным произведением. Важно: «близость 0,82» сама по себе ничего не значит без порога на ваших данных — у разных моделей шкалы разные.
В хранилище векторов, которое называют векторной базой (vector database) или индексом, куски лежат уже посчитанными. При вопросе считают один вектор вопроса и ищут k ближайших соседей — top-k. Алгоритмы вроде HNSW ищут приблизительно, зато быстро на миллионах записей. Ограничение: приближённый поиск может чуть промахнуться мимо идеального соседа; для небольших архивов иногда считают точно «каждый с каждым».
Отличие от «просто посчитать частоту слов»: мешок слов (bag of words) смотрит, какие слова встретились, и игнорирует порядок и синонимы. Эмбеддинг учитывает контекст внутри куска: одно и то же слово «банк» в фразах про реку и про деньги уйдёт в разные стороны карты, если модель это умеет. Но кусок всё равно ограничен: слишком длинный текст сжимают или режут, и часть смысла теряется на краях нарезки.
Подробный пример. Мини-проверка без облака: возьмите готовую модель эмбеддингов (например через библиотеку sentence-transformers) и три фразы. Посчитайте сходство вопроса с каждой. Ожидание: первая заметка ближе к вопросу, чем про пароль.
# pip install sentence-transformers
from sentence_transformers import SentenceTransformer, util
model = SentenceTransformer("sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2")
query = "Можно ли сдвинуть отпуск?"
notes = [
"Отпуск можно перенести на следующий год по заявлению",
"Компенсация за неиспользованный отпуск считается по среднему",
"Пароль меняют раз в 90 дней",
]
q = model.encode(query, convert_to_tensor=True)
n = model.encode(notes, convert_to_tensor=True)
scores = util.cos_sim(q, n)[0]
for note, score in sorted(zip(notes, scores.tolist()), key=lambda x: -x[1]):
print(f"{score:.3f} {note}")
Если первая строка получает заметно больший балл, чем третья, механизм на этом крошечном наборе ведёт себя ожидаемо. Если баллы почти одинаковые — модель слабая для вашей темы или фразы слишком короткие и общие.
Где обычно ошибаются.
Размерность (dimension). сколько чисел в одном векторе; фиксирована для выбранной модели.
Косинусное сходство (cosine similarity). мера близости по углу между векторами, обычно от −1 до 1.
Нормализация вектора. приведение длины вектора к 1, чтобы удобнее сравнивать углы.
Top-k. сколько ближайших соседей вернуть по запросу.
Векторная база (vector database). хранилище, заточенное под быстрый поиск ближайших векторов.
Приближённый поиск соседей (ANN). быстрый поиск «почти ближайших» на больших объёмах.
Модель эмбеддингов. отдельная нейросеть, которая только кодирует текст в вектор, а не пишет ответ.
Перекрытие кусков (overlap). повтор нескольких слов на стыке соседних отрывков, чтобы не рвать смысл.
Зачем это в работе. Эти три вещи часто путают в один «умный поиск». Из-за путаницы чинят не то: ругают чат-модель за плохие куски, хотя виноват эмбеддинг, или ждут от смысла точного кода ошибки, который надёжнее ловит поиск по словам.
Языковая модель (LLM) продолжает текст: по уже написанному выбирает следующий токен. У неё нет отдельного «места», куда она кладёт все ваши заметки заранее. Эмбеддинг-модель текст не продолжает: она сжимает вход в фиксированный вектор. Поэтому фраза «спросим GPT, какие заметки похожи» — другой и обычно более дорогой путь, чем посчитать векторы один раз и искать числами. Языковую модель подключают позже: когда куски уже найдены и нужно сформулировать ответ.
Поиск по словам смотрит на совпадение: слово «HMAC», номер договора, редкая фамилия. Он точен там, где важна буквальная форма. Эмбеддинг силён на перефразировках: «сдвинуть отпуск» ↔ «перенести отпуск». Слаб на редких идентификаторах: короткий код «ERR-4412» может утонуть среди общих слов куска. Поэтому на практике часто держат оба индекса и склеивают результаты — это гибридный поиск; подробно про склейку и пересортировку — снова на дорожке про поиск, здесь важно лишь отличие ролей.
Ещё одно отличие — момент вычисления. Эмбеддинги документов считают заранее, при загрузке или обновлении файла, и кладут в индекс. Эмбеддинг вопроса считают в момент запроса. Языковая модель каждый раз заново читает то, что положили в окно. Если вы поменяли заметку, а вектор не пересчитали, поиск по смыслу будет смотреть на старую «точку» на карте. Поиск по словам после переиндексации текста сразу видит новые слова.
Ограничение сравнения «смысл лучше слов»: не лучше и не хуже — для разных вопросов. Вопрос «что такое RAG простыми словами» хорошо идёт по смыслу. Вопрос «найди абзац, где написано ровно ERR-4412» — по словам. Если система умеет только одно, на половине реальных запросов она будет систематически промахиваться.
Подробный пример. Одна и та же база из ста заметок про внутренние правила. Два вопроса. Первый: «Можно ли перенести неиспользованные дни отдыха?» — ожидаем кусок про перенос отпуска; поиск по смыслу обычно выигрывает у поиска по словам, если в тексте другие формулировки. Второй: «Где упоминается форма Т-6?» — здесь важны буква «Т», дефис и цифра; поиск по словам или фильтр по точному вхождению надёжнее. Проверка: для каждого вопроса сохраните топ-5 от смысла и топ-5 от слов и глазами отметьте, в каком списке нужный кусок выше. Так вы увидите не «какая модель круче», а какой инструмент под какой тип вопроса.
def decide_search(question: str) -> str:
"""Грубая эвристика для учебной демонстрации, не готовое правило продакшена."""
markers = ["ERR-", "форма ", "№", "артикул", "SKU"]
if any(m.lower() in question.lower() for m in markers):
return "сначала слова (точный идентификатор)"
return "сначала смысл (перефразировка)"
print(decide_search("Можно ли перенести дни отдыха?"))
print(decide_search("Где в тексте форма Т-6?"))
Где обычно ошибаются.
Языковая модель (LLM). модель, которая продолжает текст токен за токеном и пишет ответ.
Эмбеддинг-модель. модель, которая только кодирует текст в вектор и не пишет ответ.
Индексация. заранее посчитанные векторы (или слова) по всем кускам хранилища.
Гибридный поиск (hybrid search). объединение результатов поиска по словам и по смыслу.
Перефразировка. та же мысль другими словами; сильная сторона эмбеддингов.
Идентификатор. редкий код, номер или точное имя, где обычно сильнее поиск по словам.
Пересчёт векторов. повторное получение эмбеддингов после изменения текста куска.
Зачем это в работе. Поиск по смыслу ошибается предсказуемо. Если знать типовые промахи, вы не будете чинить «галлюцинации модели», когда на самом деле в запрос попали соседние, но неверные куски. Опора на плохих соседях выглядит как уверенный, но неточный ответ.
Первый класс ошибок — «рядом по теме, но не то». Вопрос про перенос отпуска, а верхний результат — про компенсацию за отпуск: оба про отпуск, векторы близки, а нужного правила нет. Это не поломка целиком, а слишком грубая карта: модель сблизила куски по общей теме. Лечится лучшей нарезкой (один кусок — одна мысль), иногда другой моделью эмбеддингов и тем, что вы смотрите не только первого соседа.
Второй класс — коротких и редких якорей. Вопрос из трёх слов, код ошибки, имя человека, номер статьи закона. Эмбеддинг размазывает короткий сигнал по размерности и может проиграть совпадению слов. Сюда же относятся числа и даты: «до 14 дней» и «до 30 дней» для смысла «про срок» могут оказаться близки, хотя для правила разница критична.
Третий класс — язык, домен и устаревание. Модель, плохо видевшая русские кадровые тексты, хуже различает ваши формулировки. Узкий жаргон компании («дорожка», «сводка») без примеров в обучении эмбеддингов может уезжать не туда. Если документы обновили, а индекс нет — ищете по старым точкам. Отдельно: очень длинный кусок усредняет несколько тем в один вектор, и ни одна тема не представлена чётко.
Четвёртый класс — путаница сходства с релевантностью. Высокий балл значит «похоже по тому, как модель привыкла мерять смысл», а не «этот абзац отвечает на вопрос». Релевантность для вашей задачи вы проверяете сами: глазами или проверочным набором. Порог вроде «брать всё выше 0,75» без калибровки на своих данных почти всегда врёт.
Подробный пример. Соберите двадцать реальных вопросов к вашим заметкам и для каждого заранее отметьте «правильный» кусок (или несколько). Запустите поиск по смыслу с top-5. Посчитайте две простые доли: (1) как часто правильный кусок вообще попал в пятёрку — это полнота на уровне поиска; (2) как часто он стоит на первом месте. Типичная картина: на перефразировках полнота высокая, на вопросах с кодом — низкая. Добавьте пять «ловушек»: вопросы, ответа на которые в базе нет. Если система всё равно возвращает уверенно близкие куски с высоким баллом, вы видите риск ложной опоры — его потом закрывают порогом, гибридом или честным «не найдено», а не более длинным промптом чату.
def hit_at_k(ranked_ids: list[str], relevant: set[str], k: int = 5) -> bool:
"""True, если хотя бы один нужный кусок попал в первые k результатов."""
return any(doc_id in relevant for doc_id in ranked_ids[:k])
# Пример одного вопроса из проверочного набора
ranked = ["note-12", "note-03", "note-41", "note-08", "note-19"]
relevant = {"note-41"}
print("попал в top-5:", hit_at_k(ranked, relevant, 5))
print("попал на 1 место:", ranked[0] in relevant)
Где обычно ошибаются.
Ложный сосед. кусок с высоким сходством, который не отвечает на вопрос.
Полнота поиска (recall). доля случаев, когда нужный кусок вообще попал в выдачу.
Точность на первом месте. доля случаев, когда нужный кусок стоит первым.
Доменная модель. эмбеддинг, лучше приспособленный к текстам вашей области или языка.
Усреднение длинного куска. когда один вектор пытается представить несколько разных тем сразу.
Калибровка порога. подбор границы «брать / не брать» на своих примерах, а не по чужой статье.
Ловушечный вопрос. вопрос без ответа в базе; на нём видно склонность выдавать «хоть что-то».
Зачем это в работе. Демонстрация на трёх фразах из учебника ничего не говорит о вашем архиве. Нужна маленькая, но своя проверка: вопросы, правильные куски, метрики и повтор при смене модели или нарезки. Иначе вы меняете эмбеддинги «на вкус» и не видите, стало лучше или хуже.
Шаг первый — собрать проверочный набор только для поиска, без языковой модели. Возьмите 30–50 вопросов, которые реально задают. Для каждого укажите id кусков, которые должны найтись. Добавьте вопросы-перефразы, вопросы с точным кодом и несколько без ответа. Это дешевле полного RAG-прогона: вы оцениваете только выдачу векторов.
Шаг второй — зафиксировать нарезку. Одна мысль — один кусок, длина примерно в абзац или два, с небольшим перекрытием на стыках. Запишите правило нарезки рядом с метриками: иначе через месяц не поймёте, что изменилось — модель или резка. Метаданные (дата, тип документа, тег) храните отдельно от вектора: ими можно фильтровать до или после поиска по смыслу.
Шаг третий — сравнить варианты честно. Одна нарезка, два эмбеддинга; или один эмбеддинг, две нарезки. Смотрите hit@5 (нужный кусок в пятёрке) и позицию первого нужного. Не смешивайте в одном забеге смену модели и смену размера куска. Если добавляете поиск по словам, считайте отдельно «только смысл», «только слова», «оба» — так видно вклад каждого.
Шаг четвёртый — решить, что делать с пустой или слабой выдачей. Если лучший балл низкий на ваших ловушках, лучше вернуть «ничего надёжного не нашли», чем отдавать языковой модели сомнительных соседей. Связка с дорожкой про выдумки: плохие куски — частый источник уверенной неправды с «опорой».
Подробный пример. Практический мини-стенд на папке заметок. (1) Нарежьте файлы на куски по ~500–1000 символов с перекрытием 100 символов и сохраните таблицу id → текст. (2) Посчитайте эмбеддинги и сохраните рядом. (3) Возьмите 10 вопросов с известными id. (4) Для каждого вопроса выведите top-5 и отметьте попадание. (5) Поменяйте только модель эмбеддингов и повторите. Победитель — тот вариант, где выше доля попаданий на ваших вопросах, а не тот, у кого «красивее» числа сходства. Когда поиск стабилен, уже подключайте ответ языковой модели по найденным кускам и проверяйте цитаты — как на дорожке про выдумки.
from dataclasses import dataclass
@dataclass
class Case:
question: str
relevant_ids: set[str]
def evaluate(cases: list[Case], search_fn, k: int = 5) -> float:
"""search_fn(question) -> список id по убыванию сходства."""
hits = 0
for case in cases:
ranked = search_fn(case.question)
if any(i in case.relevant_ids for i in ranked[:k]):
hits += 1
return hits / len(cases)
# cases = [Case("Можно ли сдвинуть отпуск?", {"vac-07"}), ...]
# score = evaluate(cases, my_vector_search, k=5)
# print(f"hit@{5}: {score:.0%}")
Где обычно ошибаются.
Проверочный набор для поиска. вопросы с заранее известными правильными кусками, без оценки красоты ответа.
Hit@k. доля вопросов, где хотя бы один нужный кусок попал в первые k результатов.
Правило нарезки. записанный способ делить документы на куски (длина, перекрытие, границы).
Метаданные куска. дата, тег, имя файла рядом с вектором; нужны для фильтра и ссылки.
A/B сравнение индексов. прогон одних и тех же вопросов на двух вариантах эмбеддингов или нарезки.
Пустая выдача. осознанный отказ искать опору, когда сходство слишком слабое.
Стенд. маленький повторяемый прогон на своих файлах, который можно запустить после каждого изменения.