Что такое eval — почему топ бенчмарка не значит, что модель решит твою задачу

Неожиданная штука: модель может быть на первом месте в мировом рейтинге и при этом стабильно проваливать именно твою задачу. Ты берёшь «лучшую» модель, вставляешь в приложение — а она путает даты в твоих квитанциях или отвечает не в том тоне. Как так?

А вот так: рейтинг мерит модель вообще, а тебе нужно знать, как она справляется конкретно у тебя. Ровно эту дырку закрывает eval. Разберёмся, что это и как собрать свой за один вечер.

Что такое eval в одной фразе

Eval (от evaluation, «оценка») — это маленький экзамен, который ты составляешь модели под свою задачу. Набор примеров «вот вход — вот правильный ответ», по которому ты честно проверяешь, справляется модель или нет.

Бенчмарк — это общий выпускной экзамен для всех моделей сразу: математика, код, логика. Eval — это твой личный зачёт по одному предмету: «умеет ли модель вытащить сумму из моих чеков». Первое говорит, что модель умная в среднем. Второе — что она работает у тебя.

Как это устроено

Eval — это, по сути, три вещи.

• Набор примеров. Ты собираешь 10–30 реальных входов из своей задачи. Для бота по чекам — десяток фотографий чеков. Для саппорт-бота — десяток типичных вопросов клиентов.
• Ожидаемый ответ. Рядом с каждым входом записываешь, каким должен быть хороший ответ. Не идеальная формулировка слово в слово, а суть: «сумма — 1240», «тон — вежливый, без воды».
• Оценка. Прогоняешь все примеры через модель и считаешь, сколько ответов сошлось. Иногда сверяешь глазами, иногда — второй моделью-судьёй, иногда просто проверяешь, есть ли в ответе нужное число.

Получается цифра: «8 из 10». Сама по себе она не абсолютна — важно, как она меняется, когда ты крутишь промпт или переключаешь модель.

Почему это важно тебе

Кажется, что eval — это для больших ИИ-лабораторий. Нет. Как только твоё приложение делает что-то серьёзнее «поболтать», eval экономит тебе нервы.

• Ловит разрыв между демо и продуктом. На трёх примерах в чате всё работает волшебно. На тридцатом реальном — вылезает галлюцинация или кривой формат. Eval показывает этот провал до пользователей, а не после жалоб.
• Защищает от откатов. Поменял промпт, чтобы починить одно, — и незаметно сломал два других. Прогнал eval и сразу видишь: было 8 из 10, стало 6. Без eval ты бы узнал об этом от разгневанного клиента.
• Помогает выбирать модель по делу. Не по рейтингу из твиттера, а по своим 10 примерам. Иногда дешёвая модель на твоей задаче даёт те же 9 из 10, что и дорогая, — и ты экономишь на каждом запросе.

Как собрать свой eval за вечер

Ничего сложного, кода почти не нужно.

1. Возьми лист или простую таблицу. Один столбец — «вход», второй — «что считается хорошим ответом».
2. Набери 10 настоящих примеров из своей задачи. Настоящих, не выдуманных: именно на реальных модель спотыкается.
3. Прогони каждый через модель — руками или коротким скриптом — и отметь, сошёлся ответ или нет.
4. Запиши счёт. Всё, у тебя есть базовая линия.

Теперь любое изменение промпта или смена модели — это не «вроде стало получше», а «было 7, стало 9». Ты меряешь, а не гадаешь.

Eval превращает работу с ИИ из «на глазок» в «по приборам». Даже кривой список из десяти примеров лучше, чем ноль: он один раз спасёт тебя от релиза, который тихо сломал половину ответов.

Eval и бенчмарк — это одно и то же?

Нет. Бенчмарк — общий и публичный, сравнивает модели между собой на стандартных задачах. Eval — твой личный, проверяет одну модель на твоей задаче. Топ бенчмарка не гарантирует топ в твоём eval.

Нужен ли eval новичку?

Как только приложение принимает решения за тебя — да. Пока ты просто болтаешь с моделью — нет. Правило простое: если ошибку модели увидит пользователь, тебе нужен eval.

Сколько примеров достаточно?

Начни с 10–20. Этого хватает, чтобы ловить явные провалы. Больше примеров — точнее картина, но даже маленький eval радикально лучше, чем полное отсутствие проверки.

Eval — это привычка мерить, а не верить рекламе моделей. Собери свой первый набор из десяти примеров — и ты уже впереди большинства, кто выбирает модель по заголовкам. А разобраться с ИИ по шагам проще в компании того, кто объясняет на «ты».