дорожка · поиск по своим заметкам

Как устроен поиск по своим заметкам

Пять ступеней по порядку: как режут текст, как ищут по смыслу, как склеивают поиск по словам и смыслу, как пересортировывают куски и как отвечают только по найденному. Это разбор шага RAG без новых новостей.

Все дорожки — /put.

1 Кусок текста

Зачем это в работе. Поиск не читает длинную заметку «как человек целиком». Он работает с короткими отрывками. Если не понимать нарезку, потом непонятно, почему ответ взял один абзац и пропустил соседний.

Заметку режут на куски: короткие отрывки по абзацу или по нескольким предложениям. Кусок текста (chunk) — такой отрывок. Его удобно хранить, искать и потом показать модели. Целиком книгу в один запрос обычно не кладут: она может не влезть или «потерять» нужное место среди лишнего.

Куски чуть перекрывают друг друга: конец одного и начало следующего совпадают. Так мысль, разрезанная посередине предложения, всё равно попадёт в какой-то кусок целиком. Слишком мелкие куски теряют связь. Слишком крупные снова тащат лишнее в ответ.

Нарезка — это подготовка до поиска, а не сам ответ. Соседнее понятие — файл целиком: его хранят как источник, но ищут и подставляют уже куски. Если файл обновили, куски нужно нарезать заново, иначе поиск смотрит устаревшие отрывки.

Практический ориентир: один кусок должен быть достаточно коротким, чтобы его можно было открыть и сверить глазами за полминуты. Если сверка требует листать страницу целиком, куски ещё слишком большие для проверки.

Границы куска лучше вести по смыслу: абзац, подзаголовок, отдельный блок «что вышло». Механическая нарезка по числу символов проще в коде, но чаще режет определение посередине. Тогда поиск находит «хвост» без начала, и модель дописывает начало сама — уже без опоры.

Подробный пример. Вечернюю сводку режут так: каждый смысловой блок про отдельную тему — свой кусок. Вопрос «что такое гибридный поиск» должен попасть в кусок, где это объясняют, а не в соседний про железо. Ты открываешь найденный кусок и видишь, совпала ли граница нарезки с темой вопроса.

Где обычно ошибаются. 1) Режут по жёсткому числу букв посередине предложения и теряют смысл. 2) Делают один гигантский кусок на весь файл и называют это «для простоты». 3) Обновляют исходный текст, а индекс кусков оставляют старым.

Как поймать это быстро. Сохрани верхние куски до ответа и открой их глазами. Если нужного факта в них нет, чини поиск. Если факт есть, а в ответе его переврали — чини пересказ.

Кусок текста. Короткий отрывок заметки, который хранят и ищут отдельно.

Нарезка. Деление длинного файла на такие отрывки до поиска.

Перекрытие. Небольшой повтор между соседними кусками.

Заметка. Твой файл или сводка, из которых берут куски.

Длинный файл. Текст, который целиком неудобно класть в один запрос.

Нужное место. Тот кусок, где лежит ответ на вопрос.

Источник. Полный файл, из которого нарезали куски.

Обновление индекса. Повторная нарезка после того, как файл изменили.

2 Сходство смысла

Зачем это в работе. Ты редко спрашиваешь теми же словами, что написаны в заметке. Нужен поиск, который находит близкую тему, а не только точное совпадение букв.

Сходство смысла — когда два текста про одно и то же, хотя слова разные. «Как искать по файлам» и «поиск по своим документам» для человека близки. Для поиска только по словам — часто нет: общих слов мало.

Программа переводит кусок в набор чисел, который отражает смысл. Такой набор называют вектором (embedding). Похожие по смыслу куски получают близкие наборы. Вопрос тоже переводят в вектор и ищут ближайшие куски. Это сравнение близости чисел, а не чтение «как человек».

Поэтому рядом иногда оказывается кусок с похожей темой, но без точного ответа. Его потом отсеют пересортировкой или проверкой. Соседнее отличие: поиск по словам ловит редкое имя как есть; поиск по смыслу ловит пересказ, но может промахнуться по редкому названию.

Сходство смысла не заменяет источник. Оно только помогает достать кандидатов. Если векторный поиск стабильно тащит «рядом, но не то», смотрят формулировку вопроса и качество кусков, а не просят модель «стараться сильнее».

Вопрос тоже стоит формулировать как рабочую фразу, а не одним словом. «Пересортировка кандидатов после гибридного поиска» обычно находит нужный блок точнее, чем голое «rerank». Чем яснее действие в вопросе, тем меньше кусков «просто про поиск».

Подробный пример. Вопрос «зачем резать текст на куски» находит абзац про нарезку заметок, хотя слова «резать» в абзаце нет. Ты открываешь кусок: если там действительно про деление файла на отрывки — поиск сработал. Если там просто «про документы вообще» — это похожая тема, но ещё не ответ.

Где обычно ошибаются. 1) Считают векторный поиск заменой проверке по абзацу. 2) Ждут точного имени редкого термина только от смысла и не включают поиск по словам. 3) Судят о качестве по одному удачному вопросу и не проверяют промахи «рядом по теме».

Как поймать это быстро. Сохрани верхние куски до ответа и открой их глазами. Если нужного факта в них нет, чини поиск. Если факт есть, а в ответе его переврали — чини пересказ.

Сходство смысла. Близость двух текстов по теме, а не по совпадению слов.

Вектор. Набор чисел, которым кодируют смысл куска или вопроса.

Близость. Насколько два вектора похожи: чем ближе, тем кусок скорее подходит.

Вопрос своими словами. Формулировка без точных слов из заметки.

Похожая тема. Кусок рядом по смыслу, но ещё не обязательно с ответом.

Поиск по словам. Ищет совпадения букв и точных названий.

Кандидат. Кусок, который поиск пока только предложил.

Промах рядом. Кусок похожей темы без нужного факта.

3 Поиск слов и смысла вместе

Зачем это в работе. В заметках встречаются и редкие имена, и пересказы своими словами. Один вид поиска обычно теряет что-то из этого. Вместе они закрывают оба случая.

Поиск только по словам хорошо ловит точные названия: HarnessPAI, OpenShell, имя файла. Но пропускает пересказ другими словами. Поиск только по смыслу ловит пересказ, но может промахнуться по редкому имени, которого мало в обучающих ассоциациях.

Поэтому часто делают оба сразу и потом склеивают результаты. Так называют гибридный поиск (hybrid search): и совпадение слов, и сходство смысла в одном запросе. Сверху можно оставить фильтр — только сводки за октябрь или только один тег.

На выходе получается короткий список кусков-кандидатов. Это ещё не ответ человеку. Это «что показать дальше» перед пересортировкой и генерацией. Соседнее отличие: фильтр сужает базу до поиска; гибрид решает, как искать внутри уже доступного.

Если гибрид всё равно шумит, сначала смотрят, не слишком ли широк фильтр и не дублируются ли почти одинаковые куски. Дубли создают ложное ощущение «много хороших источников», хотя это один и тот же абзац в разных нарезках.

В сводках редкие имена особенно важны: без поиска по словам их легко потерять. В объяснениях своими словами важнее смысл. Гибрид как раз для ленты, где в одном тексте есть и имя проекта, и бытовое пояснение рядом.

Подробный пример. Вопрос «что такое OpenShell» должен найти и карточку, где слово OpenShell написано прямо, и абзац, где его назвали «внешней песочницей для агента». В списке кандидатов ты видишь оба. Дальше пересортировка решит, что выше, а модель ответит уже по лучшим.

Где обычно ошибаются. 1) Оставляют только смысл и удивляются, что точное имя «не находится». 2) Оставляют только слова и удивляются, что пересказ вопроса пустой. 3) Путают фильтр с поиском: «только октябрь» — это ограничение базы, а не умный отбор по теме.

Как поймать это быстро. Сохрани верхние куски до ответа и открой их глазами. Если нужного факта в них нет, чини поиск. Если факт есть, а в ответе его переврали — чини пересказ.

Гибридный поиск. Один запрос сразу ищет и по словам, и по смыслу.

Поиск по словам. Совпадение точных названий и редких терминов.

Поиск по смыслу. Близкие по теме куски без совпадения формулировок.

Кандидат. Кусок из короткого списка, который ещё будут отбирать.

Фильтр. Ограничение вроде «только октябрь» или «только один тег».

Склейка результатов. Объединение двух списков в один перед следующим шагом.

Дубль. Почти один и тот же кусок, попавший в список несколько раз.

Шум. Лишние кандидаты, которые мешают выбрать опору.

4 Пересортировка

Зачем это в работе. Широкий поиск быстро достаёт десяток «возможно подходящих» кусков. Для ответа нужен не десяток, а лучшие один–несколько. Пересортировка как раз поднимает тех, кто отвечает на вопрос, а не просто рядом по теме.

После гибридного поиска есть короткий список кандидатов. Пересортировка (rerank) — отдельный шаг: программа ещё раз смотрит на вопрос и каждый кусок и ставит лучшие выше. Слабые уходят вниз или выпадают.

Первый поиск широкий и быстрый по всей базе. Пересортировка внимательнее, но только по короткому списку. Так не перечитывают всю базу второй раз. Соседнее отличие: поиск говорит «вот кандидаты»; пересортировка говорит «вот порядок полезности для этого вопроса».

Если шаг пропустить, модель может получить кусок «про агентов вообще», хотя ты спрашивал про журнал действий. Тогда ответ будет гладким и мимо. Лечить это нужно здесь, а не фразой «пиши точнее» в конце.

На практике полезно смотреть не только первого победителя, а два–три верхних куска. Иногда лучший факт разбит между ними. Тогда в запрос кладут несколько, но всё равно из верха списка, а не всё подряд.

Если верхний кусок хороший по теме, но без нужной детали, второй кусок иногда её содержит. Поэтому перед ответом полезно глазами пробежать два верхних. Это быстрее, чем потом править гладкий, но дырявый абзац модели.

Подробный пример. Из десяти кусков про агентов вверх поднимают тот, где есть фраза про журнал разрешений и запретов, а общий обзор агентов опускают ниже. Ты открываешь верхний кусок до ответа модели и заранее видишь, будет ли опора про журнал или снова «про агентов вообще».

Где обычно ошибаются. 1) Путают пересортировку с первым поиском и ждут от неё обхода всей базы. 2) Берут в ответ всё из десятки без отсечения низа. 3) Винят модель за мимо-ответ, хотя сверху лежал общий обзор вместо нужного абзаца.

Как поймать это быстро. Сохрани верхние куски до ответа и открой их глазами. Если нужного факта в них нет, чини поиск. Если факт есть, а в ответе его переврали — чини пересказ.

Пересортировка. Повторная расстановка короткого списка от лучшего к худшему.

Кандидат сверху. Кусок, который после пересортировки считают самым полезным.

Широкий поиск. Первый быстрый отбор по всей доступной базе.

Короткий список. Несколько кусков, которые уже можно внимательно сравнить.

Мимо. Кусок рядом по теме, но без ответа на вопрос.

Общий обзор. Текст «про всё сразу», который мешает точной сверке.

Верх списка. Несколько лучших кусков, которые берут в запрос.

Отсечение низа. Решение не отдавать модели слабые кандидаты.

5 Ответ только по найденным кускам

Зачем это в работе. Иначе снова остаёшься с уверенным тоном без проверяемой опоры. Смысл всей цепочки поиска — чтобы фразу можно было открыть в исходном абзаце.

Найденные куски кладут в запрос к модели и просят ответить только по ним. Если в кусках нет факта, модель должна сказать, что в найденном этого нет, а не дописывать из общей памяти обучения. Это и есть рабочее правило RAG.

Рядом с ответом полезно держать ссылку на кусок или на сводку. Ты открываешь абзац и смотришь: совпало или ответ приукрасил. Без ссылки остаётся ощущение «звучит умно». Со ссылкой появляется проверка.

Если куски плохие, сначала чинят нарезку, гибридный поиск и пересортировку. Просьба «отвечай увереннее» здесь вредна: она маскирует дыру в опоре. Соседнее отличие: генерация пишет текст; поиск и пересортировка решают, из чего этому тексту позволено расти.

Повторяемый приём проверки: взять один вопрос, сохранить список верхних кусков, прочитать их глазами, затем сравнить с ответом. Так ты отделяешь ошибку поиска от ошибки пересказа.

Отдельно проси модель помечать, чего в кусках нет. Фраза «в найденном этого нет» ценнее уверенной догадки. Тогда ты знаешь, нужно ли расширить поиск, сменить фильтр или признать, что в твоих заметках ответа пока нет.

Подробный пример. Вопрос по одной вечерней сводке. В ответе — ссылка на абзац. Ты открываешь абзац и видишь, откуда взята формулировка. Если в ответе появилась новая деталь, которой в абзаце нет, просишь повторить строго по найденному и не добавлять внешнего.

Где обычно ошибаются. 1) Принимают ответ без ссылки на кусок. 2) Чинят тон модели, когда нужно чинить список кусков. 3) Разрешают «чуть дополнить из знаний модели» и теряют главное преимущество — проверяемость.

Как поймать это быстро. Сохрани верхние куски до ответа и открой их глазами. Если нужного факта в них нет, чини поиск. Если факт есть, а в ответе его переврали — чини пересказ.

Ответ по найденному. Текст модели только из тех кусков, которые поиск уже выбрал.

Ссылка на кусок. Указание, какой абзац открыть и сверить.

RAG. Сначала поиск по своим файлам, потом ответ только по найденным кускам.

Общая память. То, что модель вынесла из обучения; для сверки твоих заметок ей одной нельзя доверять.

Проверка. Ты читаешь исходный абзац и сравниваешь его с ответом.

Плохие куски. Не те отрывки; сначала чинят поиск, а не тон ответа.

Дописка. Фраза вне найденных кусков.

Проверяемость. Возможность ткнуть пальцем в источник фразы.

Словарь целиком — /slovar, новости — /novosti.