Stratified K-Fold

K-Fold с сохранением пропорции классов в каждом фолде.

Ключевые тезисы

Обязателен при дисбалансе классов.
Убирает фолды, где редкий класс вовсе отсутствует.
Для регрессии стратифицируют по бинам целевой переменной.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Зачем сохранять доли классов

Без стратификации редкий класс может исчезнуть из фолда.

Пример

1000 объектов, положительных 20 (2%). При обычном K-Fold с $K = 10$ в фолде в среднем 2 положительных, но с заметной вероятностью может не оказаться ни одного — тогда ROC-AUC на этом фолде не определён.

Для классификации StratifiedKFold — разумный дефолт всегда, а не только при дисбалансе.
Для регрессии стратифицируют по бинам целевой переменной.
Если есть и дисбаланс, и группы, используют StratifiedGroupKFold.

Группы и стратификация вместе

Когда у объектов есть и класс, и владелец.

from sklearn.model_selection import StratifiedGroupKFold
cv = StratifiedGroupKFold(n_splits=5, shuffle=True, random_state=42)
for tr, va in cv.split(X, y, groups=df.user_id):
    ...

Один пользователь не попадёт одновременно в train и val, а доли классов сохранятся

На практике

Идеально совместить оба требования удаётся не всегда: если у одного пользователя все объекты одного класса, стратификация будет приблизительной.

Связанные темы

Утечки и честная валидация

Ключевые тезисы

Подробный разбор

Зачем сохранять доли классов

Группы и стратификация вместе

Связанные темы

Data leakage85%

Train / Validation / Test split85%

Data leakage85%

Cross-validation85%

K-Fold85%

Leave-One-Out85%

Bootstrap85%

Normalization & Standardization85%