Обнаружение точечных выбросов, сдвигов уровня и аномальных подпоследовательностей.
Ключевые тезисы
- Прогноз + порог на остаток — самый простой рабочий подход.
- Матричные профили и STL-декомпозиция ловят структурные аномалии.
- Метрики должны учитывать интервалы событий, а не отдельные точки.
Подробный разбор
2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.
1Подходы к поиску аномалий
От порога на остаток до топологии.
- Прогноз + порог: строим прогноз, считаем остаток, помечаем точки за пределами доверительного интервала.
- STL-декомпозиция: раскладываем ряд на тренд, сезонность и остаток; аномалия — выброс в остатке.
- Матричный профиль: находит подпоследовательности, не похожие ни на что другое в ряде.
- Автоэнкодер / TDA: аномалия как большая ошибка реконструкции или изменение топологии динамики.
Метрики нужно считать по событиям, а не по точкам: сработка на 3-й секунде часового инцидента — это успех, а не 3597 пропусков. Для этого используют range-based precision/recall.
2Как оценивать детектор
Поточечные метрики почти всегда врут.
Аномалии — это интервалы, а не отдельные точки. Если инцидент длился час, а детектор сработал на третьей минуте — это успех, хотя поточечный recall будет около 5%.
- Используйте range-based precision/recall или «точечное правило соответствия»: интервал засчитан, если задет хотя бы одной сработкой.
- Считайте задержку обнаружения — часто она важнее самой метрики.
- Считайте число ложных тревог в сутки: именно оно определяет, будут ли люди реагировать на алерты.
Связанные темы
Хаос и предел предсказуемости · Аномалии и выбросы
TDA + Time Series94%
TDA и временные ряды · Топологический анализ данныхРяд вкладывается в фазовое пространство (Такенс), и топология полученного облака описывает динамику системы.
Logistic Map80%
Логистическое отображение · Динамические системы и фракталыПростейшая формула, порождающая хаос: следующее значение равно r·x·(1−x). Модель роста популяции с ограниченным ресурсом.
Bifurcations80%
Бифуркации · Динамические системы и фракталыКачественная перестройка поведения системы при плавном изменении параметра: одно равновесие сменяется двумя, цикл удваивает период.
Feigenbaum Constant80%
Постоянная Фейгенбаума · Динамические системы и фракталыУниверсальное число δ ≈ 4.669, описывающее скорость каскада удвоений периода. Одинаково для огромного класса совершенно разных систем.
Chaos80%
Детерминированный хаос · Динамические системы и фракталыПолностью детерминированная система, поведение которой невозможно предсказать надолго из-за чувствительности к начальным условиям.
Lyapunov Exponent80%
Показатель Ляпунова · Динамические системы и фракталыМера скорости разбегания близких траекторий. Положительное значение — признак хаоса.
Attractors80%
Аттракторы · Динамические системы и фракталыМножество, к которому стремятся траектории системы: точка, цикл, тор или странный аттрактор фрактальной структуры.
Takens' Theorem80%
Теорема Такенса · Динамические системы и фракталыМост между рядом и динамикой: по одному наблюдаемому сигналу можно восстановить топологию аттрактора системы.
Stationarity80%
Стационарность · Временные рядыПостоянство статистических свойств ряда во времени — предпосылка большинства классических моделей.
Outliers70%
Выбросы · ДанныеНаблюдения, резко отличающиеся от остальных. Они бывают ошибками измерения, а бывают самым ценным сигналом.
Anomaly Detection70%
Поиск аномалий · Обучение без учителяВыделение объектов, не похожих на основную массу данных, при отсутствии меток.
Autoencoders70%
Автоэнкодеры · Глубокое обучениеСеть учится восстанавливать вход через узкое место, получая сжатое представление.
Density Estimation70%
Оценка плотности · Обучение без учителяВосстановление распределения данных: где объекты встречаются часто, а где почти никогда.