K-Fold

Данные делятся на K частей; каждая по очереди становится валидационной.

Ключевые тезисы

K = 5 или 10 — практичный компромисс смещения, дисперсии и стоимости.
Требует K обучений модели.
Перемешивание обязательно, если данные отсортированы.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Как устроен K-Fold

K обучений, каждый объект ровно один раз в валидации.

Перемешать данные и разбить на $K$ равных частей.
Для каждого $k$ : обучить на $K - 1$ частях, оценить на оставшейся.
Усреднить $K$ оценок.

K	Данных на обучение	Стоимость	Свойства оценки
3	67%	низкая	смещена вниз
5	80%	средняя	хороший баланс
10	90%	высокая	меньше смещение, больше разброс

На практике

Repeated K-Fold — несколько повторов с разным перемешиванием — даёт более устойчивую оценку, когда данных мало.

Повторная кросс-валидация

Как снизить зависимость оценки от одного разбиения.

from sklearn.model_selection import RepeatedStratifiedKFold
cv = RepeatedStratifiedKFold(n_splits=5, n_repeats=3, random_state=42)
scores = cross_val_score(pipe, X, y, cv=cv, scoring="roc_auc")
print(f"{scores.mean():.4f} +- {scores.std():.4f} по {len(scores)} измерениям")

Три повтора по пять фолдов дают 15 оценок вместо 5 — среднее становится устойчивее, а разброс оценивается честнее. Стоимость — втрое больше обучений, поэтому приём применяют на небольших выборках, где разброс особенно велик.

Связанные темы

Утечки и честная валидация

Ключевые тезисы

Подробный разбор

Как устроен K-Fold

Повторная кросс-валидация

Связанные темы

Data leakage85%

Train / Validation / Test split85%

Data leakage85%

Cross-validation85%

Stratified K-Fold85%

Leave-One-Out85%

Bootstrap85%

Normalization & Standardization85%