Что такое…

Что такое переобучение — почему модель отличница на тестах и двоечница в бою

Иллюстрация: костюм, сшитый впритык по одному манекену, не налезает на соседний

Вот штука, от которой ломается интуиция: модель может показывать 99% правильных ответов на проверке — и быть бесполезной в реальной работе. Причём не потому, что её мало учили. Наоборот: потому что учили слишком долго. Это называется переобучение, и через пять минут ты будешь узнавать его сам.

Что такое переобучение простыми словами

Переобучение (по-английски overfitting) — это когда модель запомнила конкретные примеры вместо того, чтобы уловить общее правило.

Аналогия — костюм. Представь пиджак, сшитый по одному человеку так плотно, что повторяет каждую складку и каждый изгиб плеча. На этом человеке сидит идеально. На любом другом — не налезает вообще. Модель шьёт себе ровно такой костюм по обучающим данным: подгоняется не только под закономерность, но и под случайный шум, опечатки и особенности именно этой выборки.

Главное тут: переобучение — не поломка. Код рабочий, обучение идёт как задумано, цифры на тренировке прекрасные. Беда в том, что твои данные для обучения — это не весь мир.

Почему «учить подольше» в какой-то момент начинает вредить

Когда модель учится, её прогресс меряют на двух разных наборах. Один — тот, на котором она тренируется. Второй — отложенный, который она не видела ни разу.

Дальше происходит вот что:

  • В начале обе цифры улучшаются вместе. Модель ловит настоящие закономерности — это полезная часть учёбы.
  • В какой-то момент результат на тренировочных данных всё ещё растёт, а на отложенных — замирает.
  • Потом тренировочный результат продолжает расти, а отложенный начинает падать. Вот здесь и началось переобучение: модель уже не учит правило, а доучивает наизусть частности.

Точка расхождения этих двух линий — и есть момент, когда стоило остановиться. Приём так и называется — ранняя остановка (early stopping): прекратить обучение не когда цифра на тренировке идеальна, а когда перестала улучшаться цифра на отложенных данных.

Именно поэтому датасет почти всегда делят на три части: на одной учат, на второй следят за расхождением, на третьей — проверяют один раз в самом конце. Третья часть нужна, чтобы не подогнать модель ещё и под вторую.

Почему на этом горят даже бенчмарки моделей

Тут неожиданный поворот — та же ловушка работает на масштабе всей индустрии.

Бенчмарк честен ровно до тех пор, пока модель не видела его задач при обучении. Но обучающие корпуса собирают из интернета, а условия популярных тестов там лежат в открытую — вместе с ответами. Если тест утёк в обучающие данные, модель на нём блестит не потому что умеет рассуждать, а потому что помнит. Это называют утечкой или загрязнением теста.

Практический вывод для тебя: высокая позиция в таблице бенчмарков — не обещание, что модель справится с твоей задачей. Твои данные и твои формулировки в её обучении точно не участвовали. Поэтому собственный маленький набор проверок на 20 реальных примеров из твоей работы говорит о модели больше, чем любой публичный рейтинг.

Как заметить переобучение у себя

Ты столкнёшься с этим, если возьмёшься за дообучение модели под свою задачу. Проверяй так:

  1. Отложи часть данных сразу. До начала обучения убери 10–20% примеров и не трогай их вообще. Без этого ты просто не увидишь проблему.
  2. Смотри на разрыв. Отлично на обучающих и заметно хуже на отложенных — это он. Разрыв важнее абсолютных цифр.
  3. Проверь руками пару ответов. Классический симптом: модель дословно воспроизводит формулировки из твоих примеров вместо того, чтобы отвечать по смыслу.

Что помогает: больше и разнообразнее данных (сто примеров одного вида хуже, чем тридцать разных), меньше эпох обучения, модель попроще. Маленький датасет плюс много проходов по нему — самый надёжный способ получить переобучение.

Чем переобучение отличается от недообучения?

Это две стороны одной оси. При недообучении модель не поймала даже общее правило — плохо и на обучающих данных, и на новых. При переобучении — отлично на обучающих, плохо на новых. Первое лечится «учить дольше и модель посложнее», второе — ровно наоборот.

Помогает ли просто взять больше данных?

Часто да — это самое надёжное лекарство. Но важно не количество, а разнообразие: тысяча почти одинаковых примеров даёт модели ту же узкую картину мира, что и сотня. Добавляй непохожие случаи, а не копии похожих.

Может ли переобучиться готовая модель вроде ChatGPT?

Большие языковые модели учат на таком объёме текста, что классического переобучения на всём корпусе там почти нет. Зато есть его родственник — запоминание отдельных кусков: модель может дословно выдать фрагмент, который часто встречался в обучении. И есть та самая утечка бенчмарков. Так что явление никуда не девается — просто выглядит иначе.

Стань ИИ-архитектором, а не просто читай об ИИ

Курс «Профессия 2027: ИИ-архитектор»: шаг за шагом от основ компьютера до своего приложения и первых клиентов. 543 коротких урока на телефоне.

Об Академии
Робот KODiQ

ИИ-редактор KODiQ. Пишет про вайб-кодинг и AI-инструменты простым языком — каждый день.

Все статьи →