Что такое переобучение (overfitting)?
Переобучение — это ситуация, когда модель слишком точно подстраивается под обучающие данные, включая случайный шум и особенности конкретной выборки, вместо того чтобы находить общую закономерность. Такая модель показывает высокую точность на данных, которые уже видела, но заметно хуже работает на новых, реальных примерах после запуска.
Простая аналогия — студент, который выучил наизусть ответы на билеты из прошлогоднего экзамена, но не разобрался в самом предмете: на тех же вопросах он отвечает безупречно, а стоит немного изменить формулировку — теряется. Модель в состоянии переобучения ведёт себя так же: отлично «помнит» обучающие примеры, но не умеет обобщать закономерность на данные, которых раньше не видела.
Чем переобучение отличается от недообучения?
Недообучение (underfitting) — противоположная проблема: модель слишком простая или обучена слишком мало, чтобы уловить даже базовую закономерность, и показывает низкую точность сразу на обеих выборках. Переобучение, наоборот, даёт высокую точность на обучении и заметно более низкую на новых данных — модель достаточно сложная, но выучила лишнее вместо общей закономерности.
| Признак | Недообучение (underfitting) | Переобучение (overfitting) |
|---|---|---|
| Точность на обучении | Низкая | Высокая |
| Точность на тесте | Низкая | Заметно ниже, чем на обучении |
| Типичная причина | Модель слишком простая или мало обучалась | Модель слишком сложная или мало данных |
| Способ лечения | Усложнить модель, добавить признаки, обучать дольше | Регуляризация, больше данных, упрощение модели |
Различать эти состояния важно, потому что методы борьбы с ними противоположны: то, что помогает при переобучении — упрощение модели, регуляризация, — усугубит недообучение, и наоборот. Поэтому первый шаг при слабом результате модели — определить, с какой из двух проблем на самом деле имеешь дело, а не сразу применять первый попавшийся метод.
Как распознать переобучение по кривым обучения?
Переобучение видно на графике ошибки (или точности) на обучающей и проверочной выборках по ходу эпох: обе кривые сначала улучшаются вместе, но в какой-то момент ошибка на обучении продолжает снижаться, а на проверочной выборке начинает расти или застревает. Разрыв между двумя кривыми — количественный признак того, насколько сильно модель переобучилась.
Помимо графика, есть и более простой сигнал: большая разница между итоговой метрикой на обучающей и на тестовой выборке — например, заметно более высокая точность на обучении, чем на тесте, — почти всегда указывает на переобучение, даже без визуального анализа кривых. Чем раньше в процессе обучения замечен расходящийся тренд, тем дешевле его исправить — можно остановить обучение раньше или изменить настройки, не дожидаясь финальной проверки.
Иногда обе кривые выходят на плато примерно на одном уровне без выраженного разрыва между ними — это признак, что модель близка к балансу и переобучение выражено слабо, хотя абсолютное качество может ещё оставаться неудовлетворительным и потребовать других изменений.
Какие причины вызывают переобучение модели?
Три частые причины: слишком мало обучающих данных относительно сложности модели, из-за чего она запоминает конкретные примеры вместо закономерности; слишком сложная архитектура с избыточным числом параметров для задачи; и обучение в течение слишком многих эпох без ранней остановки, когда модель продолжает подстраиваться под данные уже после того, как нашла полезную закономерность.
Отдельная и часто недооценённая причина — качество самой разметки. Шумные, противоречивые или неоднородные метки дают модели ложные сигналы, под которые она вынуждена подстраиваться, тратя часть своей «ёмкости» не на поиск реальной закономерности, а на попытку объяснить противоречия в данных. Чем чище разметка, тем меньше в обучающей выборке шума, который модели пришлось бы запоминать вместо обобщения.
Например, модель, которую обучают предсказывать спрос на товар всего по нескольким сотням наблюдений с десятками признаков, почти неизбежно переобучится: признаков слишком много относительно объёма данных, и модель находит случайные, а не устойчивые закономерности в этой выборке.
Какие методы помогают бороться с переобучением?
Основные методы: регуляризация — штраф за слишком большие веса модели, который заставляет её искать более простые и обобщаемые решения; дропаут — случайное отключение части нейронов во время обучения нейросети, которое мешает ей полагаться на отдельные «зазубренные» пути; аугментация — искусственное расширение обучающей выборки за счёт вариаций существующих примеров; и увеличение объёма реальных данных.
Ни один из методов не работает одинаково хорошо во всех ситуациях — выбор зависит от типа модели, объёма данных и того, где именно возникает переобучение. Каждый метод решает проблему со своей стороны, и на практике их обычно комбинируют:
- Регуляризация (L1/L2) — добавляет штраф за величину весов модели в функцию ошибки, снижая склонность подстраиваться под шум.
- Дропаут — на каждой итерации обучения случайно «выключает» часть нейронов, заставляя сеть не полагаться на отдельные узкие пути.
- Аугментация данных — генерирует новые вариации существующих примеров: повороты и обрезка изображений, замена синонимов в тексте, добавление шума в аудио.
- Ранняя остановка — прекращает обучение в момент, когда ошибка на проверочной выборке перестаёт снижаться, не дожидаясь, пока модель начнёт переобучаться.
- Увеличение объёма данных — самый прямой метод: чем больше репрезентативных примеров видит модель, тем сложнее ей запомнить их все.
- Упрощение архитектуры — уменьшение числа слоёв или параметров модели снижает её способность подстраиваться под шум в данных, если исходная архитектура была избыточно сложной для задачи.
Как качество разметки данных влияет на переобучение?
Шумная или противоречивая разметка усиливает переобучение сильнее многих технических факторов: модель вынуждена тратить часть своей «ёмкости» на подстройку под ошибки в метках вместо поиска настоящей закономерности, и обычная регуляризация не всегда способна полностью это компенсировать. Чистая, консистентная разметка снижает риск переобучения ещё до того, как в ход идут технические методы.
Поэтому контроль качества разметки — accuracy, межаннотаторское согласие, консенсус на спорных примерах — стоит рассматривать не только как гигиенический процесс, но и как один из практических способов снизить риск переобучения наравне с регуляризацией и аугментацией. Подробно о метриках и способах проверки качества разметки — в статье о качестве разметки данных.
На практике переобучение редко устраняют одним приёмом: чаще комбинируют пару технических методов — например, умеренную регуляризацию и раннюю остановку — с проверкой самой разметки на предмет систематических ошибок. Такой комбинированный подход обычно даёт более устойчивый результат, чем попытка компенсировать шумную разметку исключительно техническими средствами борьбы с переобучением.