Normalization & Standardization

Приведение признаков к сопоставимым масштабам, без которого расстояния, градиенты и регуляризация работают некорректно.

Ключевые тезисы

• Стандартизация: вычитаем среднее, делим на стандартное отклонение; нормализация: сжимаем в [0, 1].
• Критично для k-NN, SVM, нейросетей и всех методов на основе расстояний; не нужно деревьям.
• Статистики считаются на train — иначе тест «протекает» в обучение.

Какую задачу решает

Признаки живут в разных единицах: возраст в годах, доход в рублях, площадь в метрах. Для моделей, основанных на расстояниях или градиентном спуске, это критично: признак с большим численным масштабом подавляет все остальные, а поверхность потерь становится вытянутым оврагом, по которому оптимизатор ползёт зигзагом.

Масштабирование выравнивает вклад. Стандартизация приводит к нулевому среднему и единичной дисперсии, min-max — к отрезку $[0,1]$, робастное — использует медиану и межквартильный размах и потому не боится выбросов. Деревьям и бустингу всё это безразлично: они сравнивают значения с порогом, а не измеряют расстояния.

Подробный разбор

Где применяется

• Методы на расстоянияхk-NN, k-means, SVM, PCA — без масштабирования работают неправильно, а не просто хуже.
• Градиентный спускНейросети и линейные модели с регуляризацией сходятся быстрее и стабильнее.
• Регуляризация$L_1$ и $L_2$ штрафуют веса, а вес зависит от масштаба признака — без нормализации штраф несправедлив.
• Скошенные признакиЛогарифм для доходов, цен, длительностей — часто важнее любого масштабирования.

Плюсы, минусы и альтернативы

Чем заменяют

Видеолекции

Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.

Связанные темы

Подготовка данных · Метрические и ядровые методы · Утечки и честная валидация

Глава «Данные» последний раз правилась 27 августа 2026 г.. Нашли ошибку — напишите.