Cross-validation

Многократное , дающее оценку качества вместе с её разбросом.

Ключевые тезисы

Использует все данные и для обучения, и для оценки.
Весь препроцессинг должен быть внутри фолда, иначе будет утечка.
Разброс по фолдам важнее среднего: он показывает устойчивость модели.

Какую задачу решает

Оценка на одной отложенной выборке шумна: разница в 1–2% между моделями может целиком объясняться тем, какие именно строки попали в тест. На небольших данных это делает сравнение бессмысленным, а решения — случайными.

решает проблему, прогоняя обучение несколько раз на разных разбиениях: каждая строка ровно один раз оказывается в проверочной части. В итоге получается не одно число, а распределение — со средним и разбросом, по которому видно, значима разница между моделями или это шум.

Как читать результат кросс-валидации

Модель A: 0.812 ± 0.021 по 5 фолдам. Модель B: 0.825 ± 0.019. Разница средних 0.013 при разбросе около 0.02 — то есть внутри шума, и утверждать превосходство B нельзя. Что делать: увеличить число фолдов или повторить с разными сидами (repeated ), а лучше провести парный тест на одних и тех же фолдах — он учитывает, что модели проверялись на одинаковых данных, и заметно чувствительнее.

Подробный разбор

3 подтемы — объяснения, формулы, примеры и интерактивные графики.

Оценка на одной отложенной выборке сильно зависит от того, какие объекты в неё попали. усредняет несколько таких оценок и заодно показывает их разброс.

CV = \frac{1}{K} k = 1 \sum K score_{k}, std = \frac{1}{K} k \sum (score_{k} - CV)^{2}

Обозначения

$k$ номер или количество: индекс шага, число соседей, кластеров или позиций
$\sum$ суммирование по всем перечисленным элементам

На практике

Разброс важнее среднего. Модель с CV $0.82 \pm 0.01$ надёжнее, чем $0.84 \pm 0.06$ : вторая может в проде показать и 0.78.

фолд 1

фолд 2

фолд 3

фолд 4

фолд 5

обучение валидация

обучений модели5

доля валидации20%

схемаK-Fold

Число фолдов K5

Схема разбиения

Меняйте K: чем больше фолдов, тем больше обучений и тем больше данных в каждом обучении

# Неправильно: скейлер видит валидационные объекты
X = StandardScaler().fit_transform(X)
cross_val_score(model, X, y, cv=5)

# Правильно: всё внутри пайплайна
pipe = Pipeline([("sc", StandardScaler()), ("clf", model)])
cross_val_score(pipe, X, y, cv=5)

То же касается , , борьбы с дисбалансом (SMOTE) и заполнения пропусков. Если хоть один из этих шагов увидит валидационные объекты, оценка станет завышенной.

Каждая конфигурация проверяется на одном и том же разбиении. Перебрав сотни вариантов, вы почти наверняка найдёте конфигурацию, которой просто повезло на этих фолдах: её CV-оценка выше не потому, что модель лучше, а потому что случайный шум лёг удачно. Это и называется CV overfitting — на процедуре отбора.

Отдельный hold-out, который вообще не участвует в отборе, — единственная честная финальная оценка.
Вложенная кросс-валидация: внутренний цикл подбирает , внешний оценивает качество процедуры целиком.
Меньше перебора: случайный поиск по разумному пространству вместо сетки из тысяч точек.
Смотреть на разброс: разница в 0.001 при стандартном отклонении по фолдам 0.01 — это не разница.

На практике

Тот же эффект объясняет разрыв между публичным и приватным лидербордом в соревнованиях: сотни сабмитов подбирают шум публичной части. Правило одно — метрика, по которой выбирали, всегда завышена.

Где применяется

Малые выборкиДо нескольких тысяч строк одна слишком шумна.
Сравнение моделейРазброс по фолдам показывает, реальна ли разница.
Подбор Стандартный способ оценки внутри перебора.
Число деревьев подбирается на валидационной части каждого фолда.

Плюсы, минусы и альтернативы

Плюсы

Использует все данные и для обучения, и для проверки.
Даёт оценку разброса, а не только среднее.
Резко снижает риск случайно выбрать худшую модель.
Позволяет строить out-of-fold предсказания для .

Минусы

Обучение повторяется $k$ раз — дорого для тяжёлых моделей.
Легко построить неправильно и получить утечку.
Не подходит для временных рядов в обычном виде.
Для данных с группами требует специальной схемы.

Брать, если

Данных немного, а решения нужно принимать по метрике.
Сравниваются близкие модели и важно понять, значима ли разница.

Не брать, если

Обучение занимает дни — одной отложенной выборки придётся хватить.
Данных миллионы: разброс и так мал, а стоимость велика.

Чем заменяют

K-FoldактуальноK-Fold · Оценка моделейНужен разбор базовой схемы и выбора числа фолдов.Stratified K-FoldактуальноСтратифицированный K-Fold · Оценка моделейКлассы несбалансированы или есть группы.BootstrapактуальноБутстрэп · Оценка моделейНужен метрики, а не сравнение моделей.

Тема также относится к главам:ДанныеРазбиение и утечки Временные рядыML-подходы Практика MLНастройка

Связанные темы

Ансамблирование · Утечки и честная валидация · Подбор гиперпараметров · Перебор конфигураций

Кому эта тема нужна

Профильная компетенция для ролей: Data Scientist, ML Engineer, Исследователь.

Усиливает профиль: Аналитик данных, Data Engineer, MLOps-инженер, NLP-инженер, CV-инженер.

Спрашивают на собеседовании: Яндекс — Classic ML, Сбер — Скоринг и риски, Ozon — Спрос и логистика, Альфа-Банк — Скоринг и кредитные риски, ВТБ — Риск-модели, Газпромбанк — Корпоративные риски, X5 Tech — Спрос и пополнение, Магнит — Ассортимент и спрос, Самокат — Спрос и ассортимент даркстора, Dodo Brands — Прогноз заказов и планирование смен, Спортмастер — Закупка и ассортимент, Циан — Оценка недвижимости, Авиасейлс — Прогноз цен и подсказки, Лаборатория Касперского — Детектирование вредоносного ПО, Т1 — Корпоративный ML, Газпром нефть — Геология и добыча.

Добавить в учебную программу

Проверить себя

Тема встречается в тестах по направлениям — ошибки приведут обратно на эту страницу.

Тест: Классический ML24 Тест: Временные ряды24 Тест: Дизайн ML-систем22

Тема в работе целиком

Разбор архитектуры, где эта тема — один из кирпичей: требования, развилки, цифры и режимы отказа.

Кейс: Телеметрия с битыми датчиками

Следующий шагПроверить себя: Классический MLТема встречается в этом тесте 1 раз. Ошибка приведёт обратно на эту страницу — с объяснением, что именно не сошлось.Перейти →

Глава «Оценка моделей» последний раз правилась 27 августа 2026 г.. Нашли ошибку — напишите.

Ключевые тезисы

Какую задачу решает

Подробный разбор

Где применяется

Плюсы, минусы и альтернативы

Плюсы

Минусы

Брать, если

Не брать, если

Чем заменяют

Связанные темы

Hyperparameter tuning96%

Random Search96%

Bayesian Optimization96%

Stacking and Blending85%

Random Forest85%

Gradient Boosting85%

Variance85%

Data leakage85%

Train / Validation / Test split85%

Data leakage85%

K-Fold85%

Stratified K-Fold85%

Leave-One-Out85%

Bootstrap85%

Normalization & Standardization85%

Grid Search80%

Learning Rate Scheduling80%

Distributed Hyperparameter Search80%

Experiment Tracking80%

Фолд

Разброс между фолдами

Пайплайн внутри фолда

Вложенная кросс-валидация

Cross-validation

Ключевые тезисы

Какую задачу решает

Подробный разбор

1Зачем нужна кросс-валидацияОдна валидационная выборка — это одно случайное число.

2Весь препроцессинг — внутри фолдаСамая частая ошибка в кросс-валидации.

3Переобучение по фолдамДостаточно долго подбирать модель по одним и тем же фолдам — и оценка станет оптимистичной.

Где применяется

Плюсы, минусы и альтернативы

Плюсы

Минусы

Брать, если

Не брать, если

Чем заменяют

Связанные темы

Hyperparameter tuning96%

Random Search96%

Bayesian Optimization96%

Stacking and Blending85%

Random Forest85%

Gradient Boosting85%

Variance85%

Data leakage85%

Train / Validation / Test split85%

Data leakage85%

K-Fold85%

Stratified K-Fold85%

Leave-One-Out85%

Bootstrap85%

Normalization & Standardization85%

Grid Search80%

Learning Rate Scheduling80%

Distributed Hyperparameter Search80%

Experiment Tracking80%

Ключевые понятия4 определения из текста — каждое со ссылкой на разбор

Фолд

Разброс между фолдами

Пайплайн внутри фолда

Вложенная кросс-валидация