Что такое разметка данных — и почему разметчики спорят друг с другом

Смотри, штука, которая переворачивает представление об обучении моделей.
В работе, из которой выросли современные чат-модели, OpenAI наняли около 40 человек — специально отобранных, обученных, с инструкцией на руках. Их задача: смотреть на пару ответов модели и говорить, какой лучше.
И вот цифра: между собой эти люди согласились в 72,6 % случаев. То есть примерно каждый четвёртый раз двое обученных разметчиков выбирали разные ответы как лучший.
Модель училась на этом. И «правильный ответ» для неё — не факт из учебника, а усреднённое мнение людей, которые сами не до конца согласны.
Что такое разметка данных
Разметка — это добавление к данным правильного ответа. Сами по себе картинки, тексты и записи звука модели ничего не говорят: датасет становится учебником только тогда, когда рядом с примером написано, что в нём.
Простой пример. Есть 10 000 отзывов о приложении. Пока это просто текст. Разметка — это когда рядом с каждым появляется пометка: «жалоба на оплату», «баг», «просьба о функции». Теперь на этом можно учить.
Зачем это тебе, если ты не обучаешь модели: та же работа нужна, чтобы проверять готовую модель. Об этом ниже.
Три формы, в которых это встречается
- Метка целиком — одна пометка на пример: спам или не спам, язык текста, тема письма.
- Выделение куска — обвести кота на фото, подчеркнуть в тексте имя и адрес. Дороже: разметчик размечает не пример, а каждый фрагмент.
- Сравнение двух ответов — «какой лучше?». Именно так собирают данные для RLHF, и именно отсюда взялась цифра из начала статьи.
Третья форма выглядит проще первых двух, а на деле сложнее: у «лучше» нет объективного определения.
Почему разметчики не согласны
Причины скучные и очень человеческие.
- Задача размытая. «Полезный ответ» — это короткий или подробный? Вежливый отказ лучше рискованного совета — или наоборот?
- Инструкция не покрывает край. Отзыв «Оплатил, приложение вылетело» — это жалоба на оплату или баг? Оба разметчика правы.
- Люди устают. На трёхсотом примере внимание не то же, что на десятом.
В той же работе, кстати, есть вторая цифра: разметчики, которых не было в обучающей группе, сошлись между собой в 77,3 % случаев. Разброс никуда не делся — просто он есть у любой группы людей, а не только у «плохой».
Что с этим делают
Не борются с разногласием, а измеряют его и снижают:
- Пишут инструкцию на краевых случаях. Не «отметь жалобы», а «оплатил и вылетело → баг; не смог оплатить → оплата». Инструкция растёт из споров, а не пишется заранее.
- Дают один пример нескольким людям и смотрят, где они разошлись. Расхождение — это карта дыр в инструкции.
- Держат «золотой набор» — сотню примеров с эталонными ответами, чтобы проверять самих разметчиков.
- Выбрасывают безнадёжное. Если по примеру не могут договориться трое, модель тоже не научится — такой пример только шумит.
Почему это твоя проблема, даже если ты не обучаешь модель
Потому что ты размечаешь данные каждый раз, когда проверяешь, стал ли промпт лучше.
Момент «раньше отвечал нормально, а теперь как-то хуже» — это и есть разметка, только в голове и на одном примере. Отсюда и ощущение, что каждое улучшение промпта что-то ломает: сравнивать не с чем.
Рабочий минимум: возьми 30 реальных запросов пользователей, один раз запиши для каждого, что считаешь хорошим ответом, и складывай туда каждый новый провал. Получится эвал — твой личный размеченный набор. Дальше любое изменение промпта или модели проверяется за пару минут, а не на глаз.
И честно предупрежу о том же эффекте: через месяц ты сам будешь спорить с собой прошлым насчёт пары примеров. Это нормально — просто зафиксируй решение письменно, это и есть инструкция.
Можно ли размечать данные моделью?
Можно, и так делают — это дешевле в сотни раз. Но с оговоркой: модель размечает уверенно и ошибается систематически, а не случайно. Одну и ту же ошибку она повторит на всём наборе, и дообучение заботливо закрепит её. Практика: моделью размечают массу, а людьми — проверочный срез и спорные случаи.
Сколько размеченных примеров нужно?
Меньше, чем кажется. Для дообучения под узкую задачу счёт часто идёт на сотни примеров, а не на миллионы — миллионы нужны, чтобы обучить модель с нуля, а ты дообучаешь готовую. Для проверочного набора хватает 30–50: если изменение ломает что-то, оно обычно ломает это заметно.
Курс «Профессия 2027: ИИ-архитектор»: шаг за шагом от основ компьютера до своего приложения и первых клиентов. 543 коротких урока на телефоне.





