Normalization & Standardization

Приведение признаков к сопоставимым масштабам, без которого расстояния, градиенты и регуляризация работают некорректно.

z = \frac{x - μ}{;;} \frac{;;}{σ}

Что означает каждый компонент

$x - μ$ центрирование: вычитаем среднее, признак становится «отклонением от типичного значения»
$σ$ масштабирование на стандартное отклонение. Обе статистики берутся только по train — иначе утечка

Ключевые тезисы

Стандартизация: вычитаем среднее, делим на стандартное отклонение; нормализация: сжимаем в [0, 1].
Критично для k-NN, SVM, нейросетей и всех методов на основе расстояний; не нужно деревьям.
Статистики считаются на train — иначе тест «протекает» в обучение.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Зачем масштабировать

Кому это критично, а кому безразлично.

Возраст меняется в диапазоне 20–70, доход — 20 000–500 000. Евклидово расстояние между клиентами будет определяться почти только доходом: разница в возрасте на его фоне незаметна.

Метод	Нужно ли масштабирование
k-NN, k-means, SVM, PCA	обязательно — работают с расстояниями
Нейросети	обязательно — влияет на сходимость градиентов
Линейные модели с L1/L2	да — иначе штраф несправедлив к признакам разного масштаба
Деревья, случайный лес, бустинг	не нужно — сравнения с порогом инвариантны к масштабу

возраст23.00 … 61.00

доход45000.00 … 210000.00

Преобразование

Выброс в последнем объектенет

Два признака до и после разных преобразований — обратите внимание, что делает выброс со StandardScaler

Какой скейлер выбрать

Standard, MinMax, Robust, Quantile — четыре формулы и их свойства.

z = \frac{x - μ}{σ} (Standard), x^{'} = \frac{x - x _{m i n}}{x _{m a x} - x _{m i n}} (MinMax)

Обозначения

$σ$ стандартное отклонение — разброс величины
$μ$ среднее значение
$x$ объект: вектор признаков

x^{'} = \frac{x - median ( x )}{Q _{3} - Q _{1}} (Robust)

Robust опирается на квантили и почти не реагирует на выбросы

Standard — дефолт для большинства задач; не ограничивает диапазон.
MinMax — когда нужен строгий отрезок $[0, 1]$ : изображения, входы некоторых сетей.
Robust — при тяжёлых хвостах и выбросах.
QuantileTransformer / PowerTransformer — когда нужно приблизить распределение к нормальному.

На практике

Классическая ошибка: scaler.fit(X) до разбиения на train/test. Статистики тогда «видят» тест — это утечка, и офлайн-оценка становится оптимистичной.

Связанные темы

Подготовка данных · Метрические и ядровые методы · Утечки и честная валидация

Ключевые тезисы

Подробный разбор

Зачем масштабировать

Какой скейлер выбрать

Связанные темы

Data leakage85%

Train / Validation / Test split85%

Data leakage85%

Cross-validation85%

K-Fold85%

Stratified K-Fold85%

Leave-One-Out85%

Bootstrap85%

Data preprocessing75%

Missing values75%

Outliers75%

Encoding75%

Feature engineering75%

ML Pipelines75%

k-NN65%

SVM65%

k-Means65%

Distance65%

Norm65%

Metric spaces65%