дорожка · 15.10.2026 · дообучение

Когда хватит подсказки и поиска, а когда нужно дообучение

Три разных рычага одной задачи: изменить текст запроса, подложить свои документы через поиск или изменить веса модели. Здесь разберём, чем они отличаются, где у подсказки и поиска потолок, как устроено дообучение на практике и как выбрать путь так, чтобы не тратить недели на то, что чинится одним абзацем инструкции.

Все дорожки — /put. Прошлая — как текст превращается в числа для поиска по смыслу.

1 Три рычага: подсказка, поиск, дообучение

Зачем это в работе. Когда бот отвечает не так, хочется сразу «дообучить модель». Часто это самый дорогой и медленный путь. Сначала нужно понять, какой рычаг вообще сломан: формулировка задачи, отсутствие нужных фактов в запросе или устойчивый стиль и навык, которого базовой модели не хватает. Без этого различия вы чините не то.

Первый рычаг — подсказка (prompt): текст, который вы кладёте в запрос. Инструкция, примеры удачных ответов, запреты, форма ответа. Модель при этом та же: её веса не меняются. Меняется только то, что она видит прямо сейчас. Это самый быстрый рычаг: правка за минуты, проверка сразу.

Второй рычаг — поиск по своим документам, который часто называют RAG (retrieval-augmented generation): сначала программа находит куски ваших файлов, потом кладёт их в запрос и просит ответить по ним. Веса модели снова не трогают. Меняется опора: факты берутся из ваших заметок, а не «из памяти обучения». Подробно про поиск и эмбеддинги — на дорожках поиска по заметкам и про числа для смысла.

Третий рычаг — дообучение (fine-tuning): вы берёте уже обученную модель и ещё раз учите её на своих примерах «вход → желаемый выход». Меняются веса (или их небольшая добавка). После этого модель иначе ведёт себя даже без длинной инструкции и без подложенных документов. Это уже отдельный цикл: собрать данные, обучить, проверить, выкатить новую версию.

Ограничение важное сразу: эти рычаги не взаимозаменяемы. Подсказка не вложит в модель свежий прайс, которого нет в запросе. Поиск не научит модель всегда отвечать короткой таблицей в вашем корпоративном тоне, если вы каждый раз забываете описать форму. Дообучение не заменит ежедневное обновление базы фактов: веса устаревают, а файлы можно обновить сегодня. Соседнее понятие — обучение с нуля (pretraining): это создание большой модели на огромном корпусе текстов; в обычной продуктовой работе вы почти никогда не делаете его сами, а берёте готовую модель и выбираете между подсказкой, поиском и дообучением.

Подробный пример. Три симптома — три разных рычага. (1) Модель пишет длинно и без структуры, хотя факты верные → сначала ужесточите подсказку: «ответь тремя пунктами, без вступления». (2) Модель не знает вчерашнее правило отпуска из вашей методички → нужен поиск по файлу или явная вставка абзаца, а не дообучение. (3) Модель стабильно путает ваш внутренний жаргон «дорожка» с туристическим маршрутом и после десятка уточнений в промпте всё равно срывается на общих вопросах → тут уже имеет смысл собрать сотни примеров правильного употребления и рассмотреть дообучение или хотя бы постоянный блок примеров в запросе. Правило: сначала назовите рычаг вслух, потом трогайте его.

def choose_lever(problem: str) -> str:
    """Учебная эвристика: куда смотреть первым делом."""
    if problem == "не тот тон или форма":
        return "подсказка (и примеры в запросе)"
    if problem == "нет свежего факта из наших файлов":
        return "поиск по документам (RAG)"
    if problem == "устойчивый навык / жаргон после многих правок промпта":
        return "рассмотреть дообучение"
    return "сначала воспроизвести на 10 примерах и понять класс ошибки"

print(choose_lever("нет свежего факта из наших файлов"))

Где обычно ошибаются.

  • Сразу заказывают дообучение, хотя хватило бы одной чёткой инструкции и трёх примеров.
  • Ждут, что дообученная модель «сама знает» все новые приказы: факты лучше держать в файлах и поиске.
  • Путают дообучение с «подключить базу знаний»: это разные механизмы и разная цена изменений.

Подсказка (prompt). текст запроса, который направляет поведение модели без смены весов.

Поиск по документам (RAG). сначала находят куски ваших файлов, потом модель отвечает по ним.

Дообучение (fine-tuning). дополнительное обучение готовой модели на ваших парах «вход → выход».

Веса модели. числа внутри нейросети, которые задают, как она продолжает текст.

Обучение с нуля (pretraining). первичное обучение большой модели; обычно делают лаборатории, не продукт.

Рычаг. способ изменить поведение: текст запроса, опора из файлов или смена весов.

Опора. найденный или вставленный текст, на который ответ имеет право ссылаться.

Базовая модель. готовая модель «из коробки», до ваших правок весов.

2 Что умеет подсказка и где у неё потолок

Зачем это в работе. Пока вы не исчерпали подсказку, дообучение почти всегда рано. Подсказка дешёвая в правке: поменяли абзац — и через минуту видите эффект. Но у неё есть потолок: она занимает место в окне контекста, её легко забыть в одном из каналов и она плохо «вшивает» очень длинный или часто меняющийся свод правил.

Хорошая подсказка обычно состоит из слоёв. Роль и цель: кто отвечает и зачем. Правила: что обязательно и что запрещено. Форма: список, таблица, JSON, длина. Примеры: два-три коротких образца «вопрос → хороший ответ». Граница незнания: «если в тексте нет факта — скажи, что не знаешь». Модель продолжает весь этот текст целиком; чем яснее слои, тем меньше места для гладкой, но пустой речи. Подробнее про форму ответа — на дорожке про строгий формат.

Примеры в запросе называют обучением на примерах внутри промпта (few-shot). Это не дообучение: веса не меняются. Но модель видит образец и подражает форме, тону и уровню детализации. Ноль примеров (zero-shot) работает на простых задачах. На узком корпоративном стиле два-три удачных примера часто сильнее длинной простыни правил без образцов.

Потолок подсказки проявляется так. (1) Инструкция раздулась и начинает вытеснять историю и документы из окна контекста. (2) Нужно одно и то же поведение в десяти разных ботах — и копия промпта разъезжается. (3) Модель «слушает» правила на коротких тестах, а на живых кривых вопросах срывается: навык не устойчив. (4) Факты меняются каждый день — тащить их все в системный текст невозможно и опасно. Соседнее отличие от поиска: подсказка говорит, как отвечать; поиск говорит, на каких абзацах отвечать.

Ограничение честное: подсказка не создаёт знание, которого нет ни в обучении модели, ни в запросе. Если вчерашний приказ нигде не лежит, никакая формулировка «отвечай точно» его не появит. Сначала факт в файле или в тексте запроса, потом стиль. Связка с дорожкой про выдумки: уверенный тон без опоры — не повод усиливать промпт прилагательными, а повод дать источник.

Подробный пример. Задача: краткий ответ сотруднику про перенос отпуска только по методичке, без юридического жаргона. Слабая подсказка: «Ты полезный ассистент, будь точен». Сильная: роль («отвечаешь по кадровой методичке»), правило («только по приложенному абзацу»), форма («2–3 предложения»), запрет («не выдумывай статьи закона»), пример одного удачного ответа, граница («если в абзаце нет ответа — скажи об этом»). Дальше кладёте абзац из методички и вопрос. Проверка: уберите абзац и задайте тот же вопрос — хорошая система должна отказать или запросить источник, а не «додумать» из общих знаний.

SYSTEM = """Ты отвечаешь сотрудникам только по тексту методички ниже.
Правила:
- опирайся только на приложенный абзац;
- 2–3 коротких предложения, без юридического жаргона;
- если в абзаце нет ответа, скажи: «В методичке этого нет».
Пример:
Вопрос: Можно ли перенести отпуск?
Абзац: Отпуск переносят по заявлению на следующий год.
Ответ: Да. По методичке отпуск можно перенести на следующий год, если есть заявление."""

def build_request(paragraph: str, question: str) -> list[dict]:
    return [
        {"role": "system", "content": SYSTEM},
        {"role": "user", "content": f"Абзац методички:\n{paragraph}\n\nВопрос: {question}"},
    ]

print(build_request("Отпуск переносят по заявлению.", "Можно ли сдвинуть отпуск?")[0]["role"])

Где обычно ошибаются.

  • Пишут одну гигантскую инструкцию без примеров и без проверки на «кривых» вопросах.
  • Кладут в системный текст весь регламент на десятки страниц вместо поиска по кускам.
  • Считают, что слово «точно» в промпте заменяет отсутствие факта в запросе.

Системная инструкция. постоянный текст правил, который программа кладёт в начало запроса.

Few-shot. несколько примеров желаемого ответа прямо в запросе, без смены весов.

Zero-shot. задача без примеров, только описание, что сделать.

Окно контекста. сколько текста модель может увидеть за один запрос; промпт тоже его ест.

Слой подсказки. отдельный кусок роли, правил, формы или примеров внутри одного запроса.

Устойчивость. одинаковое поведение на разных формулировках одного и того же вопроса.

Потолок подсказки. класс задач, где правка текста запроса уже не даёт стабильного эффекта.

Граница незнания. явное правило сказать «не знаю», если опоры нет.

3 Когда нужен поиск по файлам, а не новые веса

Зачем это в работе. Большая часть «модель не знает наших правил» лечится не дообучением, а поиском по актуальным файлам. Факты живут в документах: их правят юристы и методисты каждый день. Веса модели так часто обновлять дорого и опасно. Поэтому профессиональный вопрос звучит так: это пробел в знаниях о наших данных или пробел в навыке отвечать?

Поиск по файлам нужен, когда ответ должен ссылаться на конкретный абзац: приказ, сводку, карточку словаря, строку прайса. Схема простая: нарезать документы, найти ближайшие куски, положить их в запрос, попросить ответить только по ним и указать опору. Если куски не те, чинят нарезку и поиск, а не «характер» модели. Это уже разбирали на дорожках про поиск и эмбеддинги.

Дообучение на фактах выглядит соблазнительно: «пусть модель запомнит наш регламент». На практике это ловушка. Регламент завтра изменится — а дообученная версия будет уверенно помнить вчерашнее. Проверка источника станет сложнее: ответ «из головы» модели не показывает абзац. Обновление потребует нового прогона обучения. Поиск плюс ссылка на абзац обновляется вместе с файлом и оставляет след для сверки.

Есть случаи, где поиск слабее. Нужен не факт, а устойчивый навык: всегда разбирать письмо клиента в одну и ту же JSON-схему; всегда писать в тоне вашей школы; хорошо понимать внутренние сокращения в любых формулировках. Тогда одних кусков регламента мало: модель должна иначе вести себя даже на новом письме без «эталонного абзаца рядом». Здесь уже смотрят на сильную подсказку с примерами, а при массовом потоке — на дообучение.

Ограничение гибрида: можно и нужно сочетать. Типичная рабочая схема — дообучить (или хорошо промптить) формат и тон, а факты по-прежнему доставать поиском. Путать роли вредно: не кладите в датасет дообучения ежедневные новости и не ждите от поиска, что он «научит» модель вежливости навсегда. Соседнее отличие от обычного чата: чат без поиска продолжает только то, что уже в диалоге; RAG каждый раз подкладывает свежую опору снаружи.

Подробный пример. Продукт: бот отвечает по методичке Python и по ежедневным техсводкам. Ошибка A: в ответе нет вчерашнего термина из вечерней сводки. Правильный рычаг — убедиться, что сводка попала в индекс и нашлась; дообучение тут ни при чём. Ошибка B: при верном абзаце бот всё равно пишет длинное вступление и путает поля в JSON. Правильный рычаг — подсказка и схема формата; если после стабильных примеров срыв повторяется на сотнях писем, тогда уже измеряют выигрыш от дообучения на парах «письмо → JSON». Ошибка C: бот ссылается на отменённый приказ. Смотрят дату файла и фильтрацию метаданных, а не «переучивают мораль».

from dataclasses import dataclass

@dataclass
class Incident:
    symptom: str
    first_check: str
    lever: str

cases = [
    Incident(
        "нет вчерашнего факта из сводки",
        "есть ли файл в индексе и попал ли кусок в top-k",
        "поиск / индексация",
    ),
    Incident(
        "факт найден, но JSON-поля пляшут",
        "прогнать 20 писем с одной схемой и примерами",
        "подсказка; при массовом срыве — дообучение формата",
    ),
    Incident(
        "ссылается на отменённый приказ",
        "дата и статус документа в метаданных",
        "фильтр поиска, не веса модели",
    ),
]

for c in cases:
    print(f"{c.symptom} → {c.lever}")

Где обычно ошибаются.

  • Дообучают модель «знать» прайс и регламент вместо поиска с датой обновления.
  • Ругают RAG за плохой тон, хотя тон задаётся подсказкой, а поиск только несёт факты.
  • Не ставят ссылку на абзац и потом не могут отличить ошибку поиска от выдумки.

Актуальность факта. совпадение ответа с сегодняшней версией документа, а не с памятью модели.

Индекс. заранее подготовленное хранилище кусков (и часто их векторов) для поиска.

Метаданные. дата, статус, тип файла рядом с куском; нужны для фильтра «только действующие».

Навык модели. устойчивый способ отвечать (форма, тон, разбор), а не конкретный факт.

Гибрид. тон и форма из подсказки или дообучения плюс факты из поиска.

Устаревшие веса. дообученная модель, которая помнит старую версию правила.

Ссылка на абзац. указание, какой кусок открыть и сверить с ответом.

Пробел в знаниях о данных. ситуация, когда нужного текста нет в запросе и в найденных кусках.

4 Как устроено дообучение на практике

Зачем это в работе. Слово «дообучить» звучит как волшебная кнопка. На деле это обычный инженерный цикл: данные, обучение, проверка, выкат, наблюдение. Если понимать шаги и риски, вы не спутаете успешный прогон на тестовой таблице с готовым продуктом и не уничтожите полезные общие навыки модели ради узкого жаргона.

Сначала собирают датасет: много пар «вход пользователя → желаемый ответ» (иногда ещё с системной ролью). Качество важнее голого объёма: сто грязных и противоречивых примеров хуже, чем несколько сотен чистых и разнообразных. Нужны разные формулировки одного намерения, сложные краевые случаи и примеры отказа, когда ответа быть не должно. Без отказов модель учится всегда что-то выдавать.

Потом выбирают способ менять веса. Полное дообучение трогает все параметры — дорого по памяти и риску. Чаще используют низкоранговую адаптацию (LoRA): к модели добавляют небольшие обучаемые матрицы, а основные веса остаются. Так дешевле хранить несколько «надстроек» под разные задачи. Есть и обучение предпочтениям (когда модель учат предпочитать лучший ответ худшему), но для старта важнее понять простой сценарий: вход → эталонный выход.

Во время обучения смотрят, как ошибка на обучающих примерах падает и что происходит на отложенной проверке. Если на обучении всё идеально, а на новых примерах развал — это переобучение (overfitting): модель зазубрила датасет. Другой риск — забывание (catastrophic forgetting): модель стала лучше в вашем формате, но хуже в общих задачах, которые раньше умела. Поэтому в проверку кладут и ваши кейсы, и немного общих.

Ограничение: дообучение не отменяет подсказку полностью и не заменяет поиск фактов. После выката всё равно нужны короткие правила, журнал, проверочный набор и путь обновления данных. Соседнее отличие от few-shot: примеры в промпте видны модели только в этом запросе; примеры в дообучении меняют поведение «навсегда» для этой версии модели, пока вы её не смените. Ещё отличие от промпта: откатить плохой промпт — секунды; откатить плохую версию весов — нужен явный откат на предыдущий артефакт.

Подробный пример. Цель: научить модель разбирать короткие письма клиентов в JSON с полями intent, product, urgent. (1) Соберите 400 писем с разметкой руками или с проверкой человеком. (2) Отложите 80 писем в тест, который модель при обучении не видит. (3) Обучите маленькую надстройку LoRA на базовой модели. (4) Сравните на тесте три системы: только промпт, промпт плюс 3 few-shot, дообученная версия с короткой инструкцией. Смотрите долю полностью верного JSON и долю опасных ошибок (перепутали urgent). (5) Прогоните 20 общих вопросов «объясни термин» — не должно сильно просесть. Если дообучение выигрывает только на 2–3 пункта и ломает общие ответы, оставляют промпт: дешевле сопровождать.

from dataclasses import dataclass

@dataclass
class TuneExample:
    user: str
    assistant: str  # эталонный JSON-строкой

def split_train_test(rows: list[TuneExample], test_ratio: float = 0.2):
    """Простое откладывание хвоста: в бою перемешивают и фиксируют seed."""
    n_test = max(1, int(len(rows) * test_ratio))
    return rows[:-n_test], rows[-n_test:]

def exact_json_match(pred: str, gold: str) -> bool:
    return pred.strip() == gold.strip()

# train, test = split_train_test(dataset)
# baseline = доля exact_json_match на тесте для промпта
# tuned = доля для дообученной модели
# решение: выкатывать, только если tuned заметно лучше и общие задачи не просели

Где обычно ошибаются.

  • Учат на десятках примеров и ждут чуда: для устойчивого навыка обычно нужны сотни разнообразых пар.
  • Кладут в датасет сырые факты регламента вместо поведения и потом удивляются устареванию.
  • Не держат проверочный набор и откат: плохую версию нечем поймать и нечем заменить.

Датасет дообучения. набор пар «вход → желаемый выход», на которых дополнительно учат модель.

LoRA. способ дообучать небольшую надстройку к весам, не копируя всю модель целиком.

Переобучение (overfitting). зазубривание обучающих примеров без умения обобщать на новые.

Забывание. ухудшение старых общих навыков после узкого дообучения.

Отложенный тест. примеры, которые не показывали при обучении и на которых меряют качество.

Артефакт модели. сохранённая версия весов или надстройки, которую можно выкатить или откатить.

Эталонный выход. ответ, который вы считаете правильным для данного входа при разметке.

Краевой случай. редкий, но важный вход, на котором поведение особенно легко ломается.

5 Как выбрать путь: чек-лист и мини-стенд

Зачем это в работе. Выбор рычага — это решение про деньги, срок и риск, а не про моду. Нужен повторяемый порядок: воспроизвести ошибку, исчерпать дешёвые рычаги, измерить выигрыш, только потом менять веса. Иначе команда месяцами «дообучает», хотя чинился поиск или одна строка формата.

Чек-лист выбора. (1) Воспроизведите на десяти реальных входах и запишите класс ошибки: форма, факт, тон, отказ, безопасность. (2) Если ломается форма или тон — усиливайте подсказку и примеры, заведите проверочный набор как на дорожке про проверку качества. (3) Если ломается факт о ваших данных — чините индекс, нарезку, фильтры даты, требование ссылки на абзац. (4) Если после стабильного промпта и рабочего поиска остаётся устойчивый массовый срыв навыка — оцените дообучение на отложенном тесте. (5) Считайте сопровождение: как часто меняются факты, кто правит датасет, как откатываете версию.

Мини-стенд без облачной магии. Зафиксируйте 50 входов с эталоном. Прогоните вариант A: только системная инструкция. Вариант B: инструкция плюс поиск top-5 кусков. Вариант C (если дошли): дообученная модель с короткой инструкцией и тем же поиском для фактов. Для каждого варианта считайте простые доли: форма соблюдена, факт сверен с опорой, опасная ошибка. Не меняйте сразу промпт, индекс и веса в одном забеге — иначе не поймёте вклад.

Правило цены изменения. Правка промпта — минуты и мгновенный откат. Правка документа в индексе — часы, но факт обновляется точечно. Дообучение — дни или недели плюс хранение версий и риск забывания. Поэтому дообучение окупается, когда один и тот же навык нужен на большом потоке, промпт уже раздут, а выигрыш на тесте заметный и стабильный. Если поток маленький, почти всегда выгоднее жить на подсказке и поиске.

Ограничение любого выбора: без журнала запросов, найденных кусков и версии промпта или модели вы снова будете спорить «на ощущениях». Связка с дорожкой про агента: даже без инструментов полезно писать, какой рычаг сработал. Соседнее понятие — смена базовой модели поставщика: иногда новый «ванильный» выпуск закрывает ваш кейс лучше, чем ваше старое дообучение; перед новым циклом обучения сравните свежую базовую модель на том же тесте.

Подробный пример. Команда делает помощника по методичке и сводкам. На 50 вопросах вариант A (промпт) даёт красивый тон, но часто без опоры. Вариант B (промпт + поиск) почти всегда указывает абзац, но иногда путает поля в короткой карточке ответа. Вариант C (лёгкое дообучение формата + тот же поиск) выравнивает карточку и не ухудшает ссылки. Решение: выкатывают C только для формата карточки, факты оставляют на поиске, промпт сокращают. Через месяц методисты меняют главу про отпуск — обновляют файл и индекс, веса не трогают. Через квартал повторяют тест на новой базовой модели без вашей надстройки: если она догоняет C, надстройку упрощают или снимают.

from dataclasses import dataclass

@dataclass
class Score:
    name: str
    format_ok: float
    grounded: float
    dangerous: float

def better(a: Score, b: Score) -> bool:
    """Учебное правило: выше форма и опора, ниже доля опасных ошибок."""
    return (
        a.format_ok >= b.format_ok
        and a.grounded >= b.grounded
        and a.dangerous <= b.dangerous
        and (a.format_ok > b.format_ok or a.grounded > b.grounded or a.dangerous < b.dangerous)
    )

prompt_only = Score("A промпт", 0.70, 0.40, 0.10)
rag = Score("B промпт+поиск", 0.72, 0.88, 0.04)
tuned = Score("C дообуч.+поиск", 0.90, 0.90, 0.03)

print("B лучше A:", better(rag, prompt_only))
print("C лучше B:", better(tuned, rag))

Где обычно ошибаются.

  • Начинают с дообучения «потому что так солиднее», не собрав тест и не исчерпав промпт с поиском.
  • Сравнивают варианты на разных вопросах и без записи версии промпта, индекса и модели.
  • Выкатывают дообучение и забывают процесс обновления фактов в файлах — через месяц снова галлюцинации «из памяти».

Класс ошибки. тип сбоя: форма, факт, тон, ложный отказ или опасное действие.

Мини-стенд. один и тот же набор примеров, на котором честно сравнивают варианты A/B/C.

Опора ответа (grounding). наличие проверяемой связи ответа с найденным или вставленным текстом.

Цена изменения. сколько времени и риска стоит поменять промпт, файл или веса.

Откат версии. возврат к предыдущему промпту, индексу или артефакту модели.

Сопровождение. регулярная работа: обновлять данные, тест и версии после выката.

Заметный выигрыш. улучшение на тесте, которое видно стабильно, а не на трёх любимых примерах.

Свежая базовая модель. новый выпуск поставщика без вашей надстройки; её тоже стоит сравнивать на стенде.

Словарь целиком — /slovar, новости — /novosti.