Почему модель тем же уверенным тоном пишет и правду, и несуществующие факты, ссылки и цитаты. Пять ступеней: откуда берётся выдумка, где её ждать, как привязать ответ к источнику, как разрешить модели «не знаю» и как ловить выдумки кодом до того, как их прочтёт человек.
Все дорожки — /put. Прошлая — как модель понимает картинки.
Зачем это в работе. Модель может написать несуществующую цитату, ссылку или дату тем же уверенным тоном, что и правду. Если понимать, откуда это берётся, перестаёшь ждать, что «умная модель сама не ошибётся», и начинаешь строить работу так, чтобы выдумка не проходила дальше: в отчёт, письмо или на сайт.
Выдумкой, или галлюцинацией (hallucination), называют ответ, который звучит правдоподобно, но не опирается на факты: несуществующий человек, неверный год, ссылка на страницу, которой нет. Важно, что это не сбой и не «враньё» в человеческом смысле. Модель всегда делает одно и то же: по уже написанному тексту выбирает вероятное продолжение. Если правильный факт она хорошо запомнила, вероятное продолжение совпадает с правдой. Если нет, вероятным оказывается просто что-то похожее на правду.
По шагам это выглядит так. На первом этапе, предобучении (pretraining), модель читает огромный объём текстов и учится угадывать следующий кусочек слова — токен. Частые факты, вроде столицы Франции, встречаются тысячи раз и запоминаются прочно. Редкие факты, например день рождения малоизвестного человека, встречаются один-два раза или не встречаются совсем. Модель при этом усваивает форму ответа («родился такого-то числа такого-то года»), но не само значение, и при вопросе подставляет правдоподобное число.
Второй источник — то, как модели проверяют и дообучают. В статье OpenAI «Почему языковые модели галлюцинируют» (Why Language Models Hallucinate, сентябрь 2025) авторы разбирают, что большинство популярных тестов засчитывают только верный ответ, а «не знаю» считают такой же ошибкой, как неверный. При таком подсчёте угадывать выгоднее, чем честно отказываться, и модели, которых улучшают под такие тесты, привыкают угадывать. Это как школьный тест без штрафа за неверный ответ: пустую клетку оставлять бессмысленно.
Отсюда главное ограничение: у модели нет отдельного «справочника», в который она заглядывает, и нет встроенной пометки «этот факт я знаю твёрдо». Уверенный тон — свойство текста, а не знания. Чем это отличается от ошибки в рассуждении: там модель знает факты, но неверно их сложила, например ошиблась в арифметике. Выдумка — когда самого факта не было, а его место занял правдоподобный.
Подробный пример. Пример, который легко повторить. Найдите малоизвестную книгу, у которой вы точно знаете год выхода, например местное издание из библиотеки. Спросите модель без поиска в интернете: «В каком году вышла книга такая-то автора такого-то?» Затем задайте тот же вопрос ещё четыре раза, каждый раз в новом чате. Если модель знает ответ, год будет одинаковым. Если она угадывает, годы будут разными, а тон — одинаково уверенным. Для сравнения спросите так же про год выхода «Войны и мира»: там ответы совпадут, потому что факт встречался в текстах очень часто.
Где обычно ошибаются.
Выдумка, галлюцинация (hallucination). правдоподобный ответ модели, который не опирается на факты.
Предобучение (pretraining). первый этап обучения, на котором модель учится угадывать следующий токен в огромном объёме текстов.
Редкий факт. сведение, которое в обучающих текстах встречалось мало раз, поэтому модель его не запомнила.
Правдоподобное продолжение. текст, который похож на то, что обычно пишут дальше, но не обязательно верен.
Отказ от ответа (abstention). честное «не знаю» вместо попытки угадать.
Ошибка рассуждения. неверный вывод из верных фактов, в отличие от выдумки, где ложен сам факт.
Бенчмарк. общий тест для моделей; от того, как он считает ответы, зависит, чему модели учатся.
Зачем это в работе. Выдумки случаются не равномерно, а в предсказуемых местах. Если знать эти места, проверку можно ставить точечно: не перечитывать весь ответ с подозрением, а смотреть именно на ссылки, цифры, имена и цитаты.
Первый вид — выдуманные факты из памяти модели: даты, имена, должности, характеристики товаров, номера законов. Чем реже предмет обсуждают в текстах, тем выше риск. Сюда же относится устаревшее знание: модель училась на текстах до определённой даты, которую называют датой среза знаний (knowledge cutoff), и о событиях после неё она либо молчит, либо сочиняет.
Второй вид — выдуманные источники: ссылки, названия статей, цитаты, судебные дела. Модель хорошо знает, как выглядит адрес статьи или ссылка на научную работу, и легко собирает правдоподобную, но несуществующую. Известный случай: в 2023 году в Нью-Йорке адвокаты подали в суд документ со ссылками на прецеденты, которые сгенерировал ChatGPT, а этих дел не существовало; суд наложил на адвокатов штраф.
Третий вид — искажение того, что было прямо перед моделью. Вы дали ей документ, а она в пересказе поменяла цифру, приписала фразу не тому человеку или «дополнила» список пунктом, которого в тексте не было. Это называют несоответствием источнику (unfaithfulness). Оно коварно тем, что пользователь уверен: раз документ был в запросе, ответ по нему верен.
Четвёртый вид — выдумки в действиях агента: модель вызывает функцию, которой нет, передаёт несуществующее поле или сообщает «файл сохранён», хотя инструмент вернул ошибку. Здесь проверка проще всего, потому что у программы есть точный ответ, был вызов или нет. Подробнее о журнале вызовов — на дорожке про инструмент.
Подробный пример. Пример. Вы просите модель составить список из пяти источников по теме с адресами. Простой скрипт проходит по каждой ссылке, проверяет, что страница открывается, и ищет на ней название, которое указала модель. Ссылки, где страница не открылась или название не нашлось, помечаются как подозрительные. Повторите на своей теме: обычно часть адресов окажется либо несуществующей, либо ведущей на другую статью.
import urllib.request
sources = [
("Название статьи 1", "https://example.com/article-1"),
("Название статьи 2", "https://example.com/article-2"),
]
for title, url in sources:
try:
req = urllib.request.Request(url, headers={"User-Agent": "Mozilla/5.0"})
page = urllib.request.urlopen(req, timeout=10).read().decode("utf-8", "ignore")
status = "ок" if title.lower() in page.lower() else "страница есть, названия нет"
except Exception as e:
status = f"не открылась: {e}"
print(f"{status:30} {url}")
Где обычно ошибаются.
Дата среза знаний (knowledge cutoff). момент, до которого собирали тексты для обучения; о более поздних событиях модель не знает.
Выдуманный источник. ссылка, статья или цитата, которая выглядит настоящей, но не существует.
Несоответствие источнику (unfaithfulness). когда ответ по документу расходится с самим документом.
Приписывание (attribution). указание, из какого источника взято утверждение.
Проверка ссылки. программа открывает адрес и смотрит, существует ли страница и о том ли она.
Журнал вызовов. запись того, какие инструменты агент действительно вызывал и что они вернули.
Зачем это в работе. Самый действенный способ уменьшить выдумки — не спрашивать модель о фактах «из головы», а давать ей нужный текст и требовать отвечать только по нему. Так работает поиск по своим документам (RAG), и так стоит строить любого бота, который отвечает про цены, правила или договоры.
Механизм простой. Вы находите нужные куски текста — вручную или поиском — и кладёте их в запрос, каждый под своим номером. В инструкции пишете: «Отвечай только по фрагментам ниже. После каждого утверждения ставь номер фрагмента в квадратных скобках. Если ответа в фрагментах нет, так и напиши». Теперь модель не вспоминает, а переписывает и сводит то, что видит. Это называют опорой на источник (grounding).
Ограничение: опора не делает ответ правдой автоматически. Если поиск нашёл не тот кусок, модель честно ответит по нему, и ответ будет неверным. Если в фрагментах ответа нет, а инструкция слабая, модель может «дополнить» из памяти. Поэтому качество здесь держится на двух вещах: хорош ли поиск (разбор на дорожке поиска по заметкам) и проверяете ли вы, что ответ действительно взят из фрагментов.
Удобный приём проверки — просить не только номер фрагмента, но и точную цитату, на которую опирается утверждение. Цитату можно проверить кодом: она должна дословно встречаться в тексте фрагмента. Если её нет, значит, модель перефразировала слишком вольно или придумала. Это дешевле и надёжнее, чем просить вторую модель «оценить правдивость».
Чем это отличается от простого «пиши правду»: там модель всё равно опирается на память, а здесь у каждого утверждения есть адрес, по которому человек или программа может пойти и сверить. Разница как между «мне кажется» и «написано на странице 4».
Подробный пример. Пример. Бот отвечает сотрудникам про правила отпуска. В запрос кладут три фрагмента из положения: [1] о сроках подачи заявления, [2] о переносе, [3] о компенсации. Вопрос: «Можно ли перенести отпуск на следующий год?» Модель должна вернуть ответ в виде JSON: текст ответа и список пар «номер фрагмента — точная цитата». Скрипт проверяет каждую цитату на дословное совпадение. Если какая-то не нашлась, ответ не показывают, а повторяют запрос или отправляют человеку. Повторить можно на любом своём документе: задайте вопрос, ответа на который в тексте нет, и посмотрите, напишет ли модель «в документе нет» или начнёт сочинять.
def check_quotes(fragments: dict[int, str], citations: list[dict]) -> list[str]:
"""fragments: {номер: текст}; citations: [{"n": 2, "quote": "..."}]"""
problems = []
for c in citations:
text = fragments.get(c["n"], "")
if c["quote"].strip() not in text:
problems.append(f"цитата не найдена во фрагменте {c['n']}: {c['quote'][:60]}")
return problems
Где обычно ошибаются.
Опора на источник (grounding). когда модель отвечает по тексту, который ей дали, а не по памяти.
Фрагмент. кусок документа, положенный в запрос под своим номером.
Ссылка на фрагмент (citation). номер куска текста, на котором держится утверждение.
Дословная цитата. точный отрывок из фрагмента, который можно найти в тексте поиском.
Поиск по своим документам (RAG). схема, где перед ответом находят нужные куски текста и кладут их в запрос.
Проверка совпадения. программа ищет цитату в исходном тексте и сообщает, нашлась ли она.
Повтор запроса. новая попытка, если ответ не прошёл проверку.
Зачем это в работе. Если модели нельзя ответить «не знаю», она будет угадывать. В работе честный отказ почти всегда дешевле выдумки: «данных нет» человек перепроверит, а уверенная неправда уйдёт клиенту. Поэтому отказ нужно разрешить, поощрить и измерять.
Первый шаг — явно разрешить отказ в инструкции и дать для него точную форму: например, поле answer со значением null или фразу «в данных нет ответа». Точная форма важна: программа должна отличать отказ от ответа, а не гадать по тексту. Это перекликается с дорожкой про ответ строго по форме.
Второй шаг — поменять подсчёт при проверке. Если в вашем проверочном наборе отказ стоит так же, как ошибка, вы сами поощряете угадывание при выборе модели и запроса. Лучше считать отдельно три доли: верные ответы, честные отказы и неверные ответы, и решить, что неверный ответ хуже отказа. Тогда выигрывает тот вариант, который реже выдумывает, а не тот, который чаще угадал.
Третий шаг — оценить уверенность модели. Есть два практичных способа. Первый: задать один и тот же вопрос несколько раз со случайной выборкой и сравнить ответы; если они расходятся, модель скорее угадывает. На этой идее построен метод SelfCheckGPT (2023). Второй: некоторые сервисы по запросу возвращают вероятности токенов (logprobs), и низкая вероятность у ключевых слов ответа — сигнал перепроверить. Ни то ни другое не гарантирует правду: модель может стабильно повторять одну и ту же ошибку.
Совпадение уверенности с реальной частотой правильных ответов называют калибровкой (calibration). Хорошо откалиброванная модель, говоря «почти уверена», действительно почти всегда права. Словам модели о своей уверенности («я уверена на 90%») доверять нельзя, пока вы не проверили это на своих данных: это тоже сгенерированный текст.
Подробный пример. Пример. Бот отвечает про тарифы связи по базе из двадцати страниц. В проверочный набор вы кладёте вопросы трёх типов: на которые ответ в базе есть, на которые ответа нет (например, про тариф, которого не существует), и с подвохом (про тариф, который похож на настоящий названием). Для каждого варианта запроса считаете три доли: верно, честный отказ, выдумка. Затем добавляете в инструкцию разрешённый отказ с точной формой и прогоняете снова. Смотреть нужно в первую очередь на долю выдумок на вопросах без ответа: именно её вы хотели уменьшить.
Где обычно ошибаются.
Разрешённый отказ. заранее описанная форма ответа «данных нет», которую модель может вернуть вместо догадки.
null. условное значение «нет данных», понятное программе.
Самосогласованность (self-consistency). проверка, совпадают ли ответы модели на один вопрос при нескольких попытках.
SelfCheckGPT. метод 2023 года: выдумку ищут по расхождению нескольких ответов модели на один вопрос.
Вероятности токенов (logprobs). числа, показывающие, насколько вероятным модель считала каждый выбранный кусочек ответа.
Калибровка (calibration). насколько уверенность модели совпадает с тем, как часто она на самом деле права.
Вопрос с подвохом. вопрос про то, чего нет, но что похоже на настоящее; на нём хорошо видно склонность угадывать.
Зачем это в работе. Даже с опорой на источник и разрешённым отказом часть выдумок проскочит. Поэтому в любой системе, где ответ уходит дальше — клиенту, в отчёт, на сайт, — нужна проверка между моделью и читателем. Её задача — не исправить модель, а не пропустить ошибку.
Начинают с того, что проверяется кодом без всякой модели. Числа, даты, суммы и имена из ответа можно сверить с источником: если в ответе цена 1 290, а в документе такой цифры нет, это повод остановиться. Ссылки можно открыть и проверить. Вызовы инструментов сверяются с журналом. Такие проверки быстрые, дешёвые и не ошибаются сами.
Затем — проверка утверждений. Ответ разбивают на отдельные короткие утверждения (claims) и для каждого спрашивают: есть ли во фрагментах текст, который его подтверждает. Это может делать вторая модель-проверщик. Её ограничение — она тоже ошибается, поэтому её решения выборочно перепроверяют глазами, а в спорных случаях ответ отправляют человеку, а не «разрешают» спор третьей моделью.
Отличайте проверку формы от проверки правды. Схема ответа гарантирует, что в поле price лежит число, но не то, что это правильное число. Обе нужны, и вторая без первой неудобна: чтобы сверить цену с документом, сначала надо надёжно её достать из ответа.
Последний слой — человек в контуре (human in the loop) для рискованных случаев и журнал всего, что отсеяли. Журнал нужен не для отчётности: найденные выдумки становятся новыми примерами в проверочном наборе, и следующее изменение запроса или модели проверяется уже на них.
Подробный пример. Пример. Каждое утро модель собирает сводку новостей из десяти пунктов, у каждого есть ссылка на источник. Перед публикацией скрипт делает три вещи: открывает каждую ссылку; ищет на странице название компании или продукта из пункта; проверяет, что дата на странице не старше двух дней. Пункт, не прошедший хотя бы одну проверку, не публикуется, а попадает в список «на ручную проверку» с причиной. Через неделю по этому списку видно, какой вид выдумок встречается чаще: битые ссылки, перепутанные даты или чужие названия, — и что чинить первым.
Где обычно ошибаются.
Утверждение (claim). одна короткая проверяемая мысль из ответа.
Модель-проверщик. вторая модель, которая ищет подтверждение каждого утверждения в источнике; её саму выборочно проверяют.
Проверка кодом. сверка чисел, дат, ссылок и вызовов программой, без участия модели.
Проверка формы. контроль того, что ответ устроен как задумано, без оценки, правдив ли он.
Человек в контуре (human in the loop). сомнительные ответы автоматически уходят на ручную проверку.
Очередь ручной проверки. список отсеянных ответов с причинами, которые смотрит человек.
Проверочный набор. собранные примеры с правильными ответами; найденные выдумки пополняют его.