Что такое LLM-судья — и почему он ставит оценку за оформление

Неожиданная штука: если попросить модель выбрать лучший из двух ответов, она заметно чаще выберет тот, что красиво оформлен. С заголовками, списками, жирным шрифтом. Даже когда по сути он не лучше.
В исследованиях 2026 года, где судей проверяли на разных перекосах, именно стилевой оказался самым сильным — заметно мощнее, чем известный перекос «выбираю первый вариант». То есть твой автоматический контролёр качества может годами выдавать «стало лучше» просто потому, что новый промпт просит модель писать списками.
Разберёмся, кто такой этот судья, зачем он всё-таки нужен и как не дать себя обмануть.
Кто такой LLM-судья
LLM-судья (LLM-as-a-judge) — это модель, которой ты даёшь чужой ответ и просишь его оценить. Не сгенерировать, а именно проверить: подходит ли, нет ли выдумки, какой из двух вариантов лучше.
Схема бывает двух видов:
- Оценка по шкале. «Вот вопрос, вот ответ. Оцени точность от 1 до 5 и объясни почему».
- Сравнение пары. «Вот вопрос и два ответа, A и B. Какой лучше?» — так проверяют, стал ли новый промпт лучше старого.
Судья — это часть eval, твоего маленького экзамена для модели. Просто вместо тебя, читающего сто ответов глазами, экзамен проверяет другая модель. Пятьсот примеров за пару минут вместо вечера ручной работы.
Зачем это тебе
Ты меняешь промпт в своём боте. Стало лучше? Ты смотришь три ответа, они выглядят приятнее — катишь в прод. Через неделю выясняется, что на четвёртом типе вопросов бот стал врать чаще.
Три примера — это не проверка, это ощущение. Судья превращает ощущение в число: было 68 из 100, стало 81. Теперь у изменения промпта есть цена, а не вкусовщина.
Именно поэтому судья и стал стандартом: он единственный способ проверять качество на каждом изменении, а не раз в месяц, когда дойдут руки.
Перекос 1: оформление (главный)
Судья читает не только содержание. Разметка, заголовки, аккуратные пункты — всё это он подсознательно засчитывает как «качество». Это и есть тот самый стилевой перекос, самый сильный из известных.
Что с этим делать: приводи оба ответа к одному формату перед оценкой. Если сравниваешь два промпта, пусть оба отдают простой текст или оба — списки. Иначе ты сравниваешь не смысл, а вёрстку.
Перекос 2: длина и порядок
Дальше идут два перекоса послабее, но их легко словить.
Длина. Расхожее правило «модели любят ответы подлиннее» в 2026 году уже не работает как закон. В замерах одни модели действительно тянутся к длинным ответам, другая заметно предпочитала краткие, третья была почти нейтральна. Вывод не «длина не важна», а «проверь на своей модели»: прогони один и тот же ответ в развёрнутом и в сжатом виде и посмотри, расходятся ли оценки.
Порядок. Судья учитывает, какой вариант шёл первым. Причём перекос усиливается, когда ответы близки по качеству — то есть ровно в тех случаях, ради которых ты и затеял сравнение.
Лечится дёшево: гоняй каждую пару дважды — сначала A/B, потом B/A. Если победитель поменялся, значит, судья выбрал не ответ, а позицию, — такой пример честно считай ничьёй.
Перекос 3: судья любит «своё»
Модели склонны выше оценивать текст, который им «привычен» — тот, который они сами могли бы написать. Исследователи связывают это с тем, что знакомый текст модель предсказывает легче, а лёгкость она принимает за качество.
Практический вывод: не бери судьёй ту же модель, что писала ответ, если можешь. Разные семьи моделей — генератор один, судья другой. Не панацея, но перекос заметно слабеет.
Как собрать честного судью
- Напиши рубрику, а не «оцени качество». Три-четыре критерия с описанием, что такое 1 балл и что такое 5. Расплывчатый вопрос даёт расплывчатую оценку.
- Проси обоснование до оценки. Сначала «в чём проблема ответа», потом цифра. Оценка, поставленная после разбора, стабильнее той, что вылетела сразу.
- Ставь температуру в ноль. Судья должен на одном и том же примере давать один и тот же ответ, иначе ты меришь рулетку.
- Откалибруй на своих двадцати. Размети два десятка примеров руками и сравни с судьёй. Сходится в 8 случаях из 10 — судье можно верить. Сходится в половине — чини рубрику, а не модель.
- Не бери самую дорогую модель по привычке. Средняя модель с нормальной рубрикой и двусторонним прогоном догоняет флагманского судью, а стоит на порядок дешевле — при тысячах проверок это решает.
Судья заменяет живого человека?
Нет, он его масштабирует. Разметку двадцати эталонных примеров всё равно делаешь ты — иначе непонятно, кому верить. Судья потом прогоняет по этому эталону пятьсот новых.
Чем судья отличается от бенчмарка?
Бенчмарк — общий экзамен для всех моделей мира. Судья — способ проверять ответы на твоих задачах. Модель может быть первой в мировом рейтинге и при этом валить именно твои квитанции.
Сколько примеров нужно для старта?
Хватит 20–30 реальных вопросов из твоего приложения, включая пару неудобных. Главное — брать настоящие запросы пользователей, а не придуманные: хороший промпт и хороший eval начинаются одинаково — с реального материала.
Курс «Профессия 2027: ИИ-архитектор»: шаг за шагом от основ компьютера до своего приложения и первых клиентов. 543 коротких урока на телефоне.





