Наблюдения, резко отличающиеся от остальных. Они бывают ошибками измерения, а бывают самым ценным сигналом.
Ключевые тезисы
- Методы обнаружения: z-score, IQR, , LOF, расстояние Махаланобиса.
- Линейные модели и крайне чувствительны к выбросам, деревья — почти нет.
- Прежде чем удалять , стоит понять его природу: в фрод-детекции это и есть цель.
Какую задачу решает
— это наблюдение, резко отличающееся от остальных. Но само по себе это не диагноз: за одинаковой картинкой на графике стоят три разные ситуации — ошибка измерения, редкое но реальное событие и объект из другого распределения, случайно попавший в выборку.
От того, что именно перед вами, зависит действие. Ошибку убирают. Редкое реальное событие часто и есть предмет задачи (мошенничество, поломка) — удалять его значит выбрасывать сигнал. Объект из другого распределения указывает на проблему сбора данных. Автоматическая чистка по правилу «три сигмы» одинаково расправляется со всеми тремя и потому опасна.
Доходы распределены логнормально. Среднее 80 тысяч, стандартное отклонение 120 тысяч — граница трёх сигм проходит по 440 тысячам, и всё выше объявляется выбросом. Но в логнормальном распределении такие значения совершенно нормальны, их доля может достигать нескольких процентов, и это платёжеспособные клиенты, ради которых вся модель и строится. Правильный ход здесь — не чистка, а логарифмирование : после него распределение становится близким к нормальному, и обычные методы снова работают.
Подробный разбор
- стандартное отклонение — разброс величины
- среднее значение
- объект: вектор признаков
- Isolation Forest — случайные разбиения; отделяется за меньшее число разрезов.
- LOF — сравнивает локальную плотность объекта с плотностью его соседей.
- Расстояние Махаланобиса — многомерный аналог z-score, учитывает .
Сначала классифицируйте : это ошибка ввода (возраст 999), редкое, но настоящее наблюдение (зарплата топ-менеджера) или именно то, что вы ищете (мошенническая транзакция).
| Тип | Действие |
|---|---|
| Ошибка данных | исправить или превратить в пропуск |
| Редкое настоящее значение | оставить, но выбрать устойчивую модель или обрезать (winsorize) |
| Целевое событие | не трогать — это и есть сигнал |
Линейные модели и крайне чувствительны к выбросам, деревья почти нет. Иногда правильный ответ — не чистить данные, а сменить на или Huber.
Где применяется
- Чистка ошибок измеренияВозраст 200 лет, отрицательная цена — это баг, а не наблюдение.
- Подготовка к линейным моделямМНК крайне чувствителен к выбросам: одна точка способна развернуть прямую.
- Обнаружение проблем сбораКластер почти всегда указывает на сломанный источник или изменившийся формат.
- Сама задачаВ антифроде и — это цель, а не помеха.
Плюсы, минусы и альтернативы
Плюсы
- Устранение ошибок измерения улучшает модель заметно и сразу.
- Винсоризация ограничивает влияние, не теряя наблюдений.
- Анализ часто вскрывает проблемы в пайплайне сбора данных.
Минусы
- Автоматическая чистка удаляет редкие реальные события — то есть сигнал.
- Границы отсечения произвольны и требуют обоснования.
- На тяжёлых хвостах формальные правила помечают выбросом до 5–10% нормальных данных.
- Чистка на всей выборке до разбиения — тихая утечка.
Брать, если
- Значение физически невозможно — это ошибка, её надо убрать.
- Модель чувствительна к выбросам (, , ).
Не брать, если
- Редкие события — предмет задачи: , мошенничество, катастрофы.
- Данные заведомо с (доходы, размеры городов, трафик) — там «» и есть распределение.
- Модель — : он к выбросам в почти безразличен.
Чем заменяют
Видеолекции
Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.
Связанные темы
Тяжёлые хвосты и риск · Подготовка данных · Аномалии и выбросы
Power Law75%
Степенное распределение · Теория вероятностей и распределенияПлотность убывает как степень: редкие события встречаются намного чаще, чем предсказывает нормальный закон. Распределения Парето и Ципфа — его классические формы.
Heavy Tails75%
Тяжёлые хвосты · Теория вероятностей и распределенияРаспределения, у которых экстремальные значения не являются пренебрежимо редкими. Именно они ломают привычные оценки и метрики.
Extreme Value Theory75%
Теория экстремальных значений · Теория вероятностей и распределенияАппарат для моделирования максимумов и хвостов: как оценить вероятность события, которого ещё не случалось.
Log-normal Distribution75%
Логнормальное распределение · Теория вероятностей и распределенияВеличина, логарифм которой нормален. Возникает там, где эффекты перемножаются, а не складываются.
Complex Systems75%
Сложные системы · Динамические системы и фракталыСистемы из множества взаимодействующих элементов, где коллективное поведение не сводится к сумме частей.
Self-similarity75%
Самоподобие · Динамические системы и фракталыСвойство структуры повторять себя на разных масштабах — точно или статистически.
Scale-free Networks75%
Безмасштабные сети · Графы и сетиСети, в которых распределение степеней вершин подчиняется степенному закону: немного «хабов» и очень много слабо связанных вершин.
MAPE75%
Средняя абсолютная процентная ошибка · МетрикиОтносительная ошибка в процентах — удобна для сравнения рядов разного масштаба.
Data preprocessing75%
Предобработка данных · ДанныеПриведение сырых данных к виду, пригодному для обучения: типы, форматы, дубликаты, согласованность единиц измерения.
Missing values75%
Пропущенные значения · ДанныеПропуски бывают случайными и неслучайными — от механизма зависит, можно ли их просто заполнить.
Encoding75%
Кодирование категорий · ДанныеПеревод категориальных признаков в числа: one-hot, ordinal, target encoding, хеширование, эмбеддинги.
Normalization & Standardization75%
Нормализация и стандартизация · ДанныеПриведение признаков к сопоставимым масштабам, без которого расстояния, градиенты и регуляризация работают некорректно.
Feature engineering75%
Конструирование признаков · ДанныеСоздание признаков, в которых закономерность становится линейно отделимой или просто более заметной для модели.
ML Pipelines75%
ML-пайплайны · MLOpsОформление обучения как воспроизводимой последовательности шагов вместо разрозненных ноутбуков.
Anomaly Detection70%
Поиск аномалий · Обучение без учителяВыделение объектов, не похожих на основную массу данных, при отсутствии меток.
Anomaly detection70%
Поиск аномалий во времени · Временные рядыОбнаружение точечных выбросов, сдвигов уровня и аномальных подпоследовательностей.
Autoencoders70%
Автоэнкодеры · Глубокое обучениеСеть учится восстанавливать вход через узкое место, получая сжатое представление.
Density Estimation70%
Оценка плотности · Обучение без учителяВосстановление распределения данных: где объекты встречаются часто, а где почти никогда.
TDA + Time Series70%
TDA и временные ряды · Топологический анализ данныхРяд вкладывается в фазовое пространство (Такенс), и топология полученного облака описывает динамику системы.
Всё, что названо в описании, разобрано здесь же или в соседней теме — переходы под каждым определением.
Правило трёх сигм
Отсечение по . Работает только для нормальных данных — на тяжёлых хвостах помечает выбросом .
Разбор ниже: Как находить выбросыIQR-правило
За пределами и . Устойчивее, потому что опирается на квантили.
Разбор ниже: Как находить выбросыВинсоризация
Не удаление, а обрезка до перцентиля: данные сохраняются, влияние ограничивается.
Разбор ниже: Что с ними делатьРобастные модели
Huber loss, квантильная регрессия, деревья — им мешают куда меньше, чем МНК.
Разбор ниже: Что с ними делатьПрофильная компетенция для ролей: Data Scientist, Аналитик данных, Data Engineer.
Усиливает профиль: Продуктовый инженер.
Спрашивают на собеседовании: Циан — Оценка недвижимости, Газпром нефть — Геология и добыча, Газпром нефть — Переработка и оптимизация, СИБУР — Качество и режимы производства.
Разбор архитектуры, где эта тема — один из кирпичей: требования, развилки, цифры и режимы отказа.
Глава «Данные» последний раз правилась . Нашли ошибку — напишите.