дорожка · 12.10.2026 · картинки

Как модель понимает картинки

Как модель «смотрит» на скриншот, скан или фото и почему одни детали видит уверенно, а другие додумывает. Пять ступеней: как картинка становится токенами, как зрительная часть стыкуется с языковой, где зрение ломается, как готовить документы и как проверить модель на своих картинках.

Все дорожки — /put. Прошлая — как защитить модель от чужих команд в тексте.

1 Как картинка превращается в токены

Зачем это в работе. Всё чаще боту дают не текст, а скриншот ошибки, фото чека, скан договора или график. Если понимать, как модель «видит», становится ясно, почему она уверенно описывает общий смысл фото, но путает цифры в мелкой таблице, и как подать изображение так, чтобы ответ был точнее.

Языковая модель умеет работать только с последовательностью токенов — так называют кусочки входа, каждый из которых превращается в длинный список чисел (вектор). Чтобы она могла «посмотреть» на картинку, изображение тоже надо превратить в такие векторы. Для этого есть отдельная часть — зрительный кодировщик (vision encoder).

По шагам это выглядит так. Сначала картинку приводят к заданному размеру: уменьшают или режут на плитки. Потом делят на одинаковые квадратики, например 14 на 14 или 16 на 16 пикселей; такой квадратик называют патчем (patch). Каждый патч кодировщик превращает в вектор, а затем векторы «переговариваются» между собой через механизм внимания (attention) — так каждый кусочек узнаёт, что нарисовано вокруг него. Получается набор векторов, описывающих картинку.

Главное ограничение — разрешение. Чем больше патчей, тем больше токенов, тем дороже и медленнее запрос, поэтому сервисы сжимают большие изображения. Если на снимке экрана 4K мелкий шрифт, после сжатия буква может уместиться в пару пикселей, и модель её просто не различит. Многие сервисы режут крупную картинку на плитки и кодируют каждую отдельно плюс уменьшенную общую копию — это компромисс между деталями и ценой.

Не путайте это с распознаванием текста (OCR). Классическое распознавание ищет буквы и выдаёт строки. Модель со зрением ничего отдельно не распознаёт: она получает векторы и сама строит ответ, поэтому может и прочитать текст, и понять смысл схемы, но может и «додумать» неразборчивое слово.

Подробный пример. Пример. Вы отправляете скриншот окна с ошибкой размером 2560 на 1440. Сервис уменьшает его, скажем, до стороны около тысячи пикселей и режет на квадраты. Строка с текстом ошибки шрифтом 11 пикселей становится высотой около 4–5 пикселей. Модель уверенно скажет «это ошибка подключения к базе», но номер порта может перепутать. Если вырезать только область с текстом ошибки и отправить её, та же строка займёт десятки пикселей в высоту и прочитается правильно. Повторить просто: отправьте один и тот же скриншот целиком и обрезанным и сравните, как модель перепишет мелкие числа.

Где обычно ошибаются.

  • Думать, что модель видит картинку в исходном разрешении. Обычно её сжимают, и мелкие детали теряются ещё до модели.
  • Отправлять огромный скриншот всего экрана, когда важен один участок. Лишние токены стоят денег и отвлекают внимание модели.
  • Считать, что раз модель прочитала заголовок, она так же надёжно прочитала каждую цифру в таблице.

Зрительный кодировщик (vision encoder). часть системы, которая превращает картинку в набор векторов, понятных языковой модели.

Патч (patch). маленький квадратик изображения, на которые его режут перед кодированием.

Вектор. длинный список чисел, которым модель описывает кусочек входа.

Разрешение. сколько пикселей в картинке; от него зависит, какие мелочи вообще можно различить.

Плитки (tiles). приём, когда большую картинку режут на части и кодируют каждую отдельно, чтобы сохранить детали.

Распознавание текста (OCR). отдельная программа, которая находит на изображении буквы и выдаёт их строками.

Токены изображения. векторы, которые занимают место в окне контекста так же, как слова текста.

2 Как зрительная часть стыкуется с языковой

Зачем это в работе. Когда выбираете модель для работы со сканами или скриншотами, полезно понимать, что внутри это часто две разные модели, сшитые вместе. Отсюда видно, почему одна модель хорошо пишет, но слабо видит, и почему качество зрения не равно качеству текста.

Самая распространённая схема такая. Берут уже обученный зрительный кодировщик и уже обученную языковую модель. Между ними ставят небольшой переходник — проектор (projector): он переводит векторы картинки в тот же «язык» чисел, на котором языковая модель думает о словах. После этого векторы картинки просто вставляют в начало запроса, рядом с текстом вопроса.

Дальше языковая модель работает как обычно: читает всю последовательность и пишет ответ слово за словом. Для неё кусочки картинки — это ещё несколько сотен или тысяч токенов в контексте. Поэтому всё, что вы знаете об окне контекста и цене, относится и к картинкам: десять скриншотов в одном запросе могут съесть больше места, чем длинный текстовый документ.

Учат такую связку в несколько этапов. Сначала на парах «картинка — подпись» учат проектор, чтобы векторы картинки совпадали по смыслу со словами. Потом на заданиях вроде «что на графике?» или «перепиши текст со скана» дообучают всю систему отвечать на вопросы по изображениям. Чему её не учили, то она делает слабо: например, редкие виды схем или рукописный почерк.

Отличие от моделей, которые с самого начала учили на смеси текста и картинок (их называют изначально мультимодальными, natively multimodal): там нет явного шва, картинки и текст кодируются в общей системе. Какой подход у конкретной коммерческой модели, производитель часто не раскрывает, поэтому судить лучше по проверке на своих данных, а не по описанию.

Подробный пример. Пример. Вы делаете бота, который по фото счётчика воды записывает показания. Запрос выглядит так: картинка, затем текст «Перепиши показание: только цифры в чёрных окошках, без красных. Ответь JSON вида {"value": "00123"}». Модель видит картинку как токены в начале, а инструкцию — следом, и обращает внимание на нужную область, потому что вы назвали её признаки (чёрные окошки, красные не нужны). Без этого уточнения модель часто приписывает и красные дробные цифры, потому что не знает, что они вам не нужны.

Где обычно ошибаются.

  • Считать, что сильная в тексте модель так же сильна в зрении. Это разные навыки, и проверять их надо отдельно.
  • Забывать, что картинки занимают место в контексте и стоят денег, особенно в длинном диалоге со множеством скриншотов.
  • Давать картинку без указаний, на что смотреть, и ждать, что модель сама угадает нужную деталь.

Проектор (projector). небольшой переходник, переводящий векторы картинки в числовой язык языковой модели.

Мультимодальная модель. модель, которая принимает на вход не только текст, но и картинки, звук или видео.

Изначально мультимодальная (natively multimodal). модель, которую с самого начала учили на смеси текста и изображений, без отдельной сшивки.

Пары «картинка — подпись». обучающие данные, где к каждому изображению приложено его текстовое описание.

Дообучение на заданиях. этап, на котором модель учат отвечать на конкретные вопросы по изображениям.

Окно контекста. сколько токенов модель может учесть за один запрос; картинки тоже его занимают.

3 Где зрение модели ломается

Зачем это в работе. Чтобы доверять ответам по картинкам там, где это безопасно, и перепроверять там, где модель слаба, нужно знать её типичные провалы. Тогда вы заранее заложите проверку, а не узнаете об ошибке от клиента.

Первое слабое место — счёт. Модель не пересчитывает предметы по одному, как человек пальцем: она получает общее описание сцены и выдаёт правдоподобное число. Пять яблок она назовёт верно, а двадцать три мелких болта на фото — скорее всего нет. Похожая беда с точным положением: «какой предмет левее» и «в какой клетке таблицы стоит значение» даются хуже, чем общий смысл.

Второе — мелкий и плотный текст, о чём шла речь в первой ступени: после сжатия детали пропадают. Третье — галлюцинации, то есть уверенное описание того, чего нет. Если на размытом фото вывеска нечитаема, модель может подставить правдоподобное название, вместо того чтобы сказать «не видно». Она обучена давать ответ, а не признаваться в неуверенности.

Четвёртое — подсказки в вопросе. Если спросить «какого цвета машина у дома?», а машины на фото нет, модель нередко опишет цвет. Вопрос, который предполагает наличие предмета, подталкивает её согласиться. Пятое — текст на самой картинке работает как команда: надпись на изображении «игнорируй прошлые указания» может повлиять на модель так же, как подложенный текст в письме из прошлой дорожки.

Чем это отличается от ошибок в тексте: в тексте вы можете проверить, что модель процитировала, а с картинкой исходник в виде пикселей и сверить «слово в слово» сложнее. Поэтому для важных данных лучше просить модель указать, где именно она это увидела, или дублировать распознавание другим способом.

Подробный пример. Пример, который легко повторить. Сфотографируйте горсть монет или скрепок, штук пятнадцать–двадцать, разбросанных вперемешку. Спросите модель «сколько здесь скрепок?» три раза в новых чатах. Затем спросите «опиши, что на фото, и скажи, уверен ли ты в количестве». Скорее всего числа будут расходиться между попытками, а во втором варианте модель чаще признает неуверенность. Так вы своими глазами увидите, почему счёт по фото нельзя пускать в отчёт без проверки.

Где обычно ошибаются.

  • Доверять числам, посчитанным по фото, без сверки, например в складском учёте.
  • Задавать наводящие вопросы, которые предполагают, что предмет на картинке есть.
  • Забывать, что надпись на картинке тоже может оказаться подложенной командой.

Галлюцинация. уверенный ответ модели о том, чего в данных на самом деле нет.

Наводящий вопрос. вопрос, который заранее предполагает ответ и подталкивает модель согласиться.

Пространственные отношения. вопросы о положении предметов: левее, выше, в какой клетке.

Внедрение через картинку. подложенная команда, написанная прямо на изображении.

Привязка к месту (grounding). умение модели указать, в какой области картинки она увидела ответ.

Ограничивающая рамка (bounding box). прямоугольник с координатами, которым отмечают найденный предмет.

4 Как готовить сканы, скриншоты и документы

Зачем это в работе. Большая часть реальной работы — это документы: счета, договоры, анкеты, PDF-файлы. От того, как вы подадите их модели, качество меняется сильнее, чем от выбора между двумя похожими моделями.

Шаг первый — решить, нужна ли вообще картинка. Если PDF создан в программе, в нём уже есть текстовый слой: текст можно достать напрямую (например, утилитой pdftotext), и это точнее и дешевле, чем показывать модели снимок страницы. Картинка нужна, когда документ — скан или фото, или когда важна вёрстка: таблицы, печати, подписи, графики.

Шаг второй — подготовить изображение. Выровнять наклон, обрезать поля, сохранить достаточное разрешение там, где мелкий текст. Многостраничный документ лучше подавать по странице, а не склеивать в одну длинную картинку: после сжатия длинная лента станет нечитаемой. Если важна одна таблица, вырежьте её.

Шаг третий — задать форму ответа. Попросите вернуть данные в строгом формате (JSON с заранее названными полями) и писать null, если поле не видно. Это прямо снижает галлюцинации: у модели появляется разрешённый способ сказать «не нашёл», вместо того чтобы придумать значение.

Чем это отличается от классического конвейера: раньше делали распознавание текста, потом правилами искали поля. Модель со зрением понимает смысл («это сумма к оплате, а не сумма НДС»), но может ошибиться в цифре. Поэтому на практике часто сочетают оба: текстовый слой или распознавание дают точные символы, модель — понимание, а код сверяет их между собой.

Подробный пример. Пример. Нужно вытащить из сканов счетов номер, дату, ИНН продавца и итоговую сумму. Запрос: одна страница счёта как картинка плюс текст «Верни JSON с полями number, date (ГГГГ-ММ-ДД), seller_inn, total. Если поле не видно, пиши null. Не вычисляй сумму сам, бери как напечатано». После ответа код проверяет: ИНН — 10 или 12 цифр, дата разбирается, сумма — число. Если проверка не прошла, страница уходит человеку. Так ошибка модели ловится до того, как попадёт в учёт.

Где обычно ошибаются.

  • Отправлять картинку страницы, когда в PDF уже есть текстовый слой, который можно взять напрямую.
  • Склеивать много страниц в одно длинное изображение — после сжатия текст станет нечитаемым.
  • Не давать модели права ответить null и потом удивляться выдуманным значениям.

Текстовый слой. скрытый текст внутри PDF, который можно скопировать без распознавания.

Скан. документ, сохранённый как картинка, без текста внутри.

Строгий формат ответа. заранее описанная форма, например JSON с нужными полями.

null. условное значение «нет данных», которое модели разрешают вернуть вместо выдумки.

Проверка кодом (валидация). программа, которая смотрит, похож ли ответ на правду по формату и правилам.

Выравнивание наклона. поворот скана так, чтобы строки стали горизонтальными.

Человек в контуре (human in the loop). когда сомнительные случаи автоматически отправляют на ручную проверку.

5 Как проверить, что модель справляется с вашими картинками

Зачем это в работе. Описания и рейтинги моделей не скажут, справится ли она именно с вашими накладными или скриншотами. Единственный надёжный способ — собрать небольшой набор своих примеров и измерить. Это защищает от выбора модели по рекламе.

Начните с набора из 30–50 реальных изображений с правильными ответами, которые вы вписали руками. Важно включить трудные случаи: размытые фото, наклон, мелкий шрифт, рукописные пометки. Если набор состоит только из чистых сканов, вы измерите не то, что встретится в работе.

Сравнивайте поле за полем, а не «ответ похож — не похож». Для номера и суммы нужна точная проверка совпадения. Для свободных описаний можно звать другую модель-судью, но тогда выборочно перепроверяйте её глазами. Отдельно считайте, как часто модель честно вернула null там, где поля действительно не видно, и как часто выдумала значение — вторая ошибка обычно дороже.

Ограничение такой проверки — маленький набор даёт грубую оценку: разница в один-два примера из тридцати может быть случайностью. Поэтому выводы делают, когда разница заметная, а набор пополняют каждый раз, когда в работе нашлась новая ошибка. Чем это отличается от общих тестов из статей: там измеряют на чужих картинках, а вам важны ваши.

Ещё стоит проверить, как качество меняется от подготовки: тот же набор целиком и с обрезкой, в высоком разрешении и в сжатом. Часто оказывается, что правильная подготовка картинки даёт больше, чем переход на более дорогую модель.

Подробный пример. Пример. Вы сравниваете две модели на 40 фото чеков. Таблица: файл, правильная сумма, ответ модели А, ответ модели Б. Небольшой скрипт отмечает совпадения и считает три числа для каждой модели: сколько сумм верно, сколько null на нечитаемых чеках, сколько выдуманных сумм. Потом прогоняете тот же набор с обрезкой чека по краям и смотрите, какая из перемен помогла сильнее. Решение принимаете по этим трём числам, а не по тому, какой ответ «звучит увереннее».

Где обычно ошибаются.

  • Тестировать только на чистых, удачных снимках и получать оценку лучше реальной.
  • Сравнивать ответы на глаз вместо поштучной проверки каждого поля.
  • Не разделять «не нашёл» и «выдумал» — это ошибки разной цены.

Тестовый набор. собранные вручную примеры с правильными ответами, на которых измеряют модель.

Эталонный ответ. правильное значение, вписанное человеком для сравнения.

Точное совпадение. проверка, при которой ответ засчитывается, только если он полностью равен эталону.

Модель-судья. другая модель, которая оценивает свободные ответы; её саму нужно выборочно проверять.

Трудные случаи. размытые, наклонённые или нестандартные примеры, где модель чаще ошибается.

Бенчмарк. общий публичный тест; полезен для ориентира, но не заменяет проверку на своих данных.

Словарь целиком — /slovar, новости — /novosti.