КабинетПоиск
Обучение без учителя

Anomaly Detection

Поиск аномалий

актуальноТекущий рабочий стандарт

Направления: Машинное обучение · Обучение без учителя

Выделение объектов, не похожих на основную массу данных, при отсутствии меток.

Ключевые тезисы

  • , One-Class , LOF, .
  • Порог решает всё: он задаёт баланс пропусков и ложных срабатываний.
  • Даже небольшая размеченная выборка резко упрощает валидацию.

Какую задачу решает

— это объект, не похожий на остальные. Задача возникает там, где примеров нарушения почти нет: мошенничество, поломка оборудования, сбой в данных. Обучать классификатор не на чем, поэтому модель описывает и отмечает всё, что в неё не укладывается.

Практическая сложность не в алгоритме, а в двух вещах вокруг него. Первая — определение : глобально редкий объект, локально нетипичный или нарушающий динамику. Вторая — порог: любой метод выдаёт непрерывный скор, а решение бинарно, и выбирается порог по пропускной способности проверки, а не по формуле.

Как выбрать порог на практике

Формального критерия нет, поэтому идут от ресурса. Аналитик разбирает 50 срабатываний в день — значит, порог ставится так, чтобы модель давала около 50 срабатываний в день на вашем потоке. Дальше измеряется : сколько из них оказались настоящими. Если 10% — метод работает (без модели вы бы разбирали случайные 50 из миллиона). Если 1% — сигнала мало, нужны другие . Порог пересматривается по мере накопления подтверждённых случаев: как только их наберётся несколько сотен, переходите к обучению с учителем.

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

МетодИдеяСильная сторона
аномалию легче «отрезать» случайными разбиениямибыстрый, масштабируемый
LOFплотность объекта против плотности соседейлокальные
One-Class граница вокруг нормальных данныхмалые выборки
большая ошибка реконструкциисложные структурированные данные

Все они возвращают не метку, а скор аномальности. Порог — это отдельное решение, которое определяет баланс между пропусками и ложными тревогами и обычно диктуется тем, сколько сигналов способна разобрать команда.

  • По бюджету проверок: сколько сигналов в день команда способна разобрать — столько и берём сверху.
  • По квантилю: помечаем верхний 1% скоров, если ожидаемая доля известна.
  • По размеченной выборке: даже сотня примеров позволяет подобрать порог осмысленно.
На практике

Всегда считайте, во что обходится ложная тревога. Детектор, генерирующий 500 алертов в день, будет отключён через неделю независимо от его метрик.

Где применяется

  • АнтифродПервичный фильтр подозрительных операций.
  • Промышленный Отклонения показаний датчиков до наступления отказа.
  • Поиск битых строк и сбоев в пайплайне.
  • БезопасностьНетипичная активность пользователей и сервисов.
  • метрикАномальные значения бизнес-показателей.

Плюсы, минусы и альтернативы

Плюсы

  • Не требует размеченных .
  • Обнаруживает ранее не виданные типы нарушений.
  • Работает там, где положительных примеров единицы.
  • Часто даёт объяснение: какой выбивается сильнее всего.

Минусы

  • Много ложных срабатываний: «странно» и «плохо» — не одно и то же.
  • Порог приходится подбирать без опоры на метрику.
  • Оценка качества затруднена отсутствием разметки.
  • Нерелевантные размывают сигнал.
  • Уступает обучению с учителем, как только размеченные примеры появляются.

Брать, если

  • Размеченных почти нет.
  • Типы нарушений заранее неизвестны и меняются.
  • Нужен первичный фильтр перед ручной проверкой.

Не брать, если

  • Есть несколько сотен размеченных — обучение с учителем даст заметно больше.
  • определяются известными бизнес-правилами: правила проще и точнее.

Чем заменяют

Isolation ForestактуальноIsolation Forest · Классическое машинное обучениеДанные табличные и нужен быстрый рабочий метод.AutoencodersактуальноАвтоэнкодеры · Глубокое обучениеДанные сложные (изображения, сигналы) и нужна реконструкционная схема.Anomaly detectionактуальноПоиск аномалий во времени · Временные ряды определяется динамикой ряда, а не значением.
Тема также относится к главам:Классическое машинное обучениеАномалии

Связанные темы

Редкие классы и события · Аномалии и выбросы

Imbalanced Data80%

Дисбаланс классов · Данные

Когда положительных объектов 1% или меньше: как обучать, чем мерить и что делать с порогом.

Isolation Forest80%

Isolation Forest · Классическое машинное обучение

Обнаружение аномалий случайными разбиениями: аномальный объект отделяется от остальных за меньшее число разрезов.

PR-AUC80%

PR-AUC · Метрики

Площадь под кривой precision–recall; честнее ROC-AUC при редком положительном классе.

MCC80%

Коэффициент Мэтьюса · Метрики

Корреляция между предсказаниями и истиной, учитывающая все четыре ячейки матрицы ошибок.

Loss functions80%

Функции потерь · Глубокое обучение

Формализуют цель обучения. Выбор потерь важнее выбора архитектуры чаще, чем кажется.

Extreme Value Theory80%

Теория экстремальных значений · Теория вероятностей и распределения

Аппарат для моделирования максимумов и хвостов: как оценить вероятность события, которого ещё не случалось.

Outliers70%

Выбросы · Данные

Наблюдения, резко отличающиеся от остальных. Они бывают ошибками измерения, а бывают самым ценным сигналом.

Anomaly detection70%

Поиск аномалий во времени · Временные ряды

Обнаружение точечных выбросов, сдвигов уровня и аномальных подпоследовательностей.

Autoencoders70%

Автоэнкодеры · Глубокое обучение

Сеть учится восстанавливать вход через узкое место, получая сжатое представление.

Density Estimation70%

Оценка плотности · Обучение без учителя

Восстановление распределения данных: где объекты встречаются часто, а где почти никогда.

TDA + Time Series70%

TDA и временные ряды · Топологический анализ данных

Ряд вкладывается в фазовое пространство (Такенс), и топология полученного облака описывает динамику системы.

Кому эта тема нужна

Усиливает профиль: Data Scientist, MLOps-инженер.

Спрашивают на собеседовании: Т-Банк — Антифрод и риски, Точка — Антифрод и комплаенс, ЮMoney — Антифрод платежей, МегаФон — Сеть и геоаналитика, Лаборатория Касперского — Детектирование вредоносного ПО, Лаборатория Касперского — Поведенческий анализ и исследования, Positive Technologies — Аналитика событий и приоритизация, BI.ZONE — Антифрод и защита от автоматизации, СИБУР — Предиктивное обслуживание, Росатом — Промышленный ИИ.

Добавить в учебную программу
Следующий шагДальше по связи: Imbalanced DataКогда положительных объектов 1% или меньше: как обучать, чем мерить и что делать с порогом.Перейти →
← Association RulesRepresentation Learning →

Глава «Обучение без учителя» последний раз правилась . Нашли ошибку — напишите.