Модель не пишет слово сразу: она раздаёт вероятности всем вариантам, а отдельный шаг программы выбирает один. Пять ступеней о том, как устроен этот выбор, какие у него настройки и почему от них зависит, будет ли ответ одинаковым, живым или с нелепыми словами. Примеры с числами учебные: их можно пересчитать в Python.
Все дорожки — /put.
Зачем это в работе. Почти все странности ответа — то он каждый раз разный, то вдруг вылезло нелепое слово, то модель повторяется по кругу — рождаются не в «знаниях» модели, а на маленьком шаге выбора следующего куска текста. Если понимать этот шаг, ты знаешь, какую ручку крутить, а какую трогать бесполезно.
Напомню с первой дорожки: модель собирает ответ по одному токену (token), то есть по кусочку текста, который бывает целым словом, частью слова или знаком. На каждом шаге она смотрит на весь текст, который уже есть, и выдаёт не одно слово, а оценку для каждого токена из своего словаря. Словарь модели (vocabulary) — заранее заданный длинный список всех кусочков, которые она умеет ставить.
Эти оценки сначала «сырые»: просто числа, больше или меньше, их называют логитами (logits). Потом их пропускают через простую формулу, которая превращает их в доли: каждая доля от нуля до единицы, а все вместе дают ровно единицу. Эта формула называется софтмакс (softmax). Получается распределение вероятностей (probability distribution) — список «насколько вероятен каждый вариант продолжения».
Главное, что надо унести отсюда: модель не решает, какое слово поставить. Она только раздаёт вероятности. Выбор делает отдельный маленький кусок программы, его называют декодированием (decoding) или выборкой (sampling). У этого куска есть свои настройки, и одна и та же модель с разными настройками пишет заметно по-разному.
Отсюда и ограничение. Если правильного факта нет в тексте запроса и модель его не выучила при обучении, у верного варианта будет маленькая вероятность, и никакая настройка выбора его не «вытащит». Настройки меняют только то, как брать из уже розданных вероятностей. Соседнее понятие — поиск по документам (RAG) из прошлой дорожки: он меняет сам текст запроса, а значит и вероятности; настройки выбора их не меняют.
Подробный пример. Пусть текст такой: «Сегодня на улице…», и для простоты у модели всего три кандидата: «дождь» с сырой оценкой 2,0, «солнце» с оценкой 1,0 и нелепое «кит» с оценкой 0,1. Это учебные числа, не замер настоящей модели. Софтмакс считается так: возводим число e (примерно 2,718) в степень каждой оценки и делим на сумму. Выходит «дождь» 0,659, «солнце» 0,242, «кит» 0,099. Проверить можно в Python за минуту:
import math
z = [2.0, 1.0, 0.1]
e = [math.exp(x) for x in z]
print([round(v / sum(e), 3) for v in e])
# [0.659, 0.242, 0.099]Заметь: у «кита» почти десять шансов из ста. В настоящей модели таких «китов» тысячи, у каждого крошечная доля, но вместе они набирают ощутимый хвост. Это пригодится на четвёртой ступени.
Где обычно ошибаются.
Токен. Кусочек текста, которым модель пишет ответ: слово, часть слова или знак.
Словарь модели (vocabulary). Заранее заданный список всех токенов, которые модель умеет ставить.
Логит (logit). Сырая оценка токена до превращения в вероятность; может быть любым числом.
Софтмакс (softmax). Формула, которая превращает сырые оценки в доли, дающие вместе единицу.
Распределение вероятностей. Список вариантов продолжения с долей шанса у каждого.
Декодирование (decoding). Отдельный шаг программы, который по вероятностям выбирает один токен.
Хвост распределения. Множество маловероятных токенов, которые вместе набирают заметный шанс.
Зачем это в работе. Это два базовых способа брать токен из вероятностей, и от выбора между ними зависит, будет ли ответ повторяемым или живым. Когда ты просишь сервис «отвечать одинаково», ты на самом деле просишь приблизиться к первому способу.
Жадный выбор (greedy decoding) — на каждом шаге брать самый вероятный токен. Никакой случайности: при одном и том же запросе в теории получается один и тот же текст. В примере с погодой это всегда «дождь».
У жадного выбора два известных недостатка. Первый: он смотрит только на один шаг вперёд. Самое вероятное слово сейчас может завести в фразу, которая в целом хуже, чем путь через второе по вероятности слово. Второй: длинный текст при жадном выборе склонен зацикливаться, то есть повторять одни и те же обороты, потому что повторение само делает себя вероятнее.
Случайная выборка (sampling) — бросить «взвешенный кубик»: каждый токен выпадает с той долей шанса, которую ему дала модель. «Дождь» выпадает чаще всего, но иногда выпадет «солнце» и изредка «кит». Поэтому один и тот же вопрос даёт разные ответы, и это не поломка, а свойство способа.
Важная деталь про цепочку: выбранный токен сразу дописывается в текст, и следующий шаг считается уже от него. Одно случайно выбранное редкое слово меняет все вероятности дальше, и ответ уходит в другую сторону. Соседнее понятие — лучевой поиск (beam search): он держит сразу несколько продолжений и в конце берёт лучшее целиком; в чат-сервисах им обычно не пользуются, чаще он встречается в задачах вроде машинного перевода.
Подробный пример. Возьми те же вероятности 0,659, 0,242 и 0,099 и сделай сто случайных выборов. По расчёту в среднем выйдет около 66 «дождей», 24 «солнца» и 10 «китов»; в конкретном прогоне числа немного другие. Повтори в Python:
import random
random.seed(7)
words = ["дождь", "солнце", "кит"]
p = [0.659, 0.242, 0.099]
out = random.choices(words, weights=p, k=100)
print({w: out.count(w) for w in words})Строка random.seed(7) задаёт зерно (seed) — стартовое число для генератора случайности. С тем же зерном выпадет тот же набор; убери строку, и каждый запуск будет другим. Жадный выбор здесь — это просто max: сто раз «дождь».
Где обычно ошибаются.
Жадный выбор (greedy). Всегда брать самый вероятный токен, без случайности.
Случайная выборка (sampling). Выбирать токен случайно, с шансом, равным его вероятности.
Взвешенный кубик. Образ выборки: грань с большей вероятностью выпадает чаще.
Зацикливание. Повтор одних и тех же оборотов, частая беда жадного выбора на длинном тексте.
Зерно (seed). Стартовое число генератора случайности; с тем же зерном выборка повторяется.
Лучевой поиск (beam search). Способ держать несколько продолжений сразу и брать лучшее целиком.
Цепочка выборов. Каждый выбранный токен становится частью текста и влияет на все следующие.
Зачем это в работе. Температура (temperature) — самая известная ручка в любом сервисе с моделью, и её чаще всего крутят неправильно: ждут, что она сделает ответ «умнее» или «творческее». На деле она делает одно понятное дело, и полезно знать, какое.
Механизм простой: перед софтмаксом каждую сырую оценку делят на число температуры. Если температура меньше единицы, разница между оценками растёт, и после софтмакса лидер забирает ещё больше шанса. Если больше единицы, разница сглаживается, и шанс перетекает к слабым вариантам. Температура, равная единице, ничего не меняет.
Чем ближе температура к нулю, тем ближе выборка к жадному выбору: почти всегда выпадает лидер. Многие сервисы при значении 0 просто включают жадный выбор, потому что делить на ноль нельзя. Высокая температура, наоборот, поднимает хвост: редкие и нелепые токены начинают выпадать заметно чаще.
Ограничение: температура не добавляет знаний и не меняет порядок вариантов. Самый вероятный токен остаётся самым вероятным при любой температуре, меняется только то, насколько он «давит» остальных. Поэтому низкая температура не исправит выдумку, если модель уверена в неверном факте, а сделает эту выдумку стабильной.
Соседнее понятие — инструкция в запросе вроде «будь креативным». Она меняет текст запроса, а значит сами вероятности: модель может поднять оценки необычных идей. Температура же лишь перераспределяет уже готовые вероятности. Разнообразие слов и разнообразие идей — не одно и то же.
Подробный пример. Те же учебные оценки 2,0, 1,0 и 0,1. При температуре 0,5 делим на 0,5 и получаем 4,0, 2,0 и 0,2; после софтмакса «дождь» 0,864, «солнце» 0,117, «кит» 0,019. При температуре 2 делим на 2: 1,0, 0,5 и 0,05; выходит 0,502, 0,304 и 0,194. Значит, при температуре 2 «кит» выпадает почти каждый пятый раз, а при 0,5 — примерно дважды из ста. Проверь сам:
import math
z = [2.0, 1.0, 0.1]
for t in (0.5, 1, 2):
e = [math.exp(x / t) for x in z]
print(t, [round(v / sum(e), 3) for v in e])Видно главное: порядок «дождь, солнце, кит» не меняется ни при какой температуре, меняется только разрыв.
Где обычно ошибаются.
Температура (temperature). Число, на которое делят сырые оценки перед софтмаксом.
Низкая температура. Меньше единицы: лидер забирает больше шанса, текст ровнее и повторяемее.
Высокая температура. Больше единицы: шанс уходит к редким токенам, текст разнообразнее и рискованнее.
Температура ноль. На практике обычно означает жадный выбор.
Сглаживание. Уменьшение разрыва между вероятностями при высокой температуре.
Заострение. Увеличение разрыва в пользу лидера при низкой температуре.
Порядок вариантов. Кто вероятнее кого; температура его не меняет.
Зачем это в работе. Хочется живого текста без нелепых слов. Одна температура этого не даёт: она поднимает и хорошие варианты, и мусор из хвоста. Отсечение хвоста позволяет выбирать случайно, но только среди разумных кандидатов.
Идея: до броска кубика выкинуть маловероятные токены, а оставшимся заново раздать вероятности так, чтобы в сумме снова вышла единица. Это называют перенормировкой (renormalization). Дальше обычная случайная выборка, только по короткому списку.
Отсечение по числу, top-k: оставить k самых вероятных токенов, остальные выкинуть. При k, равном единице, это снова жадный выбор. Слабость в том, что число фиксировано: когда модель уверена, даже десятое место — мусор; когда не уверена, разумных вариантов может быть больше k.
Отсечение по сумме, top-p (его ещё называют nucleus sampling, «выборка из ядра»): идти от самого вероятного вниз и набирать токены, пока их доли в сумме не достигнут порога p. Если модель уверена, ядро маленькое, иногда из одного токена; если сомневается, ядро шире. Так список сам подстраивается под уверенность модели.
Ограничение и отличие от температуры. Температура меняет форму всего распределения, отсечение просто обрезает его край. В документации ряда сервисов прямо советуют менять что-то одно — температуру или top-p, — а не оба сразу, потому что их эффекты накладываются и результат трудно предсказать. Порядок, в котором применяются эти настройки, в разных библиотеках бывает разным.
Подробный пример. Берём вероятности при температуре 1: «дождь» 0,659, «солнце» 0,242, «кит» 0,099, и порог top-p 0,9. Идём сверху: «дождь» даёт 0,659, этого мало; добавляем «солнце», сумма 0,901 — порог достигнут, стоп. «Кит» выкинут. Перенормируем: 0,659 делим на 0,901 и получаем 0,731, 0,242 делим на 0,901 — 0,269. Теперь выборка живая (иногда «солнце»), но нелепое слово не выпадет никогда. С top-k, равным 2, в этом примере вышло бы то же самое, но при другом распределении результаты разойдутся.
p = {"дождь": 0.659, "солнце": 0.242, "кит": 0.099}
keep, s = {}, 0.0
for w, v in sorted(p.items(), key=lambda x: -x[1]):
keep[w] = v; s += v
if s >= 0.9: break
print({w: round(v / s, 3) for w, v in keep.items()})
Где обычно ошибаются.
Отсечение хвоста. Выкинуть маловероятные токены до случайного выбора.
Перенормировка. Заново раздать доли оставшимся токенам, чтобы сумма снова была единицей.
Top-k. Оставить фиксированное число самых вероятных токенов.
Top-p. Оставить самые вероятные токены, пока их сумма не достигнет порога.
Ядро (nucleus). Короткий список токенов, который остался после отсечения top-p.
Порог p. Доля от единицы, которую должно набрать ядро, например 0,9.
Наложение настроек. Когда температура и отсечение действуют вместе и эффект трудно предсказать.
Зачем это в работе. Настройки выбора — дешёвый рычаг: их меняют одной строкой, без переобучения. Но пользу они дают только в паре с проверкой. Эта ступень про то, как подбирать их под задачу и как не обмануть себя результатом одного прогона.
Правило по типу задачи. Где есть один правильный ответ — достать факт из документа, разметить письмо по категориям, написать код, выдать данные в строгом формате JSON (это текстовый формат для данных с полями и значениями) — нужна низкая температура или жадный выбор: тебе важна повторяемость. Где нужны варианты — придумать названия, переформулировать абзац, накидать идеи — температуру поднимают, чтобы получить разнообразие, и потом выбирают руками.
Про повторяемость честно. Даже температура 0 у облачного сервиса не гарантирует побайтно одинаковый ответ: вычисления на видеокартах идут параллельно, запросы склеиваются в пачки, и крошечные различия в округлении иногда меняют выбор на равных вариантах. Кроме того, провайдер может обновить модель под тем же именем. Некоторые сервисы дают параметр зерна (seed), но обещают с ним повторяемость только «по возможности». Если повтор критичен, сохраняй сам ответ, а не надейся пересчитать его заново.
Не все модели дают крутить эти ручки. У части моделей с режимом рассуждения (reasoning — когда модель сначала пишет скрытые шаги решения, а потом ответ) температуру и top-p либо нельзя менять, либо значение игнорируется. Прежде чем строить на настройке процесс, открой документацию именно этой модели.
Соседний инструмент — ограниченный выбор (constrained decoding): программа выбора вообще запрещает токены, которые сломали бы заданный формат, например схему JSON. Это тот же шаг выбора, что и температура, только вместо случайности тут правило. Если тебе нужен строгий формат, такой режим (у сервисов он часто называется «структурированный вывод», structured output) надёжнее, чем просто низкая температура.
Подробный пример. Задача: по вечерней сводке выписать список упомянутых компаний. Повторяемая проверка из трёх шагов. Первый: отправь один и тот же запрос пять раз при температуре 0,2 и пять раз при 1,0, всё сохрани в файл. Второй: для каждого прогона отметь, какие компании названы и есть ли они в тексте сводки. Третий: сравни. Если при низкой температуре список стабилен и совпадает со сводкой — настройка подходит. Если компания то появляется, то пропадает при любой температуре, проблема не в выборе, а в опоре: модели не хватает текста, и надо проверить, что сводка целиком попала в запрос. Запиши в журнал модель, температуру, top-p и дату — без этого через неделю результат не с чем будет сравнить.
Где обычно ошибаются.
Повторяемость. Свойство давать тот же ответ на тот же запрос; у облачных моделей она не абсолютная.
Задача с одним ответом. Извлечение факта, разметка, код, строгий формат; здесь температуру держат низкой.
Задача на варианты. Идеи, названия, переформулировки; здесь температуру поднимают и выбирают руками.
JSON. Текстовый формат данных из полей и значений, который удобно читать программой.
Ограниченный выбор (constrained decoding). Запрет токенов, которые сломали бы заданный формат.
Структурированный вывод (structured output). Режим сервиса, который гарантирует ответ по заданной схеме.
Модель с рассуждением (reasoning). Модель, которая сначала пишет скрытые шаги решения; часть её настроек может быть закрыта.
Несколько прогонов. Повтор одного запроса, чтобы отличить случайность выбора от нехватки опоры.