Векторизация топологии: персистентности, суммарная длина жизни, числа Бетти, persistence images.
Ключевые тезисы
- На выходе — обычный числовой для любой ML-модели.
- Такие дополняют геометрические и статистические, а не заменяют их.
- Библиотеки: giotto-tda, gudhi, ripser, scikit-tda.
Подробный разбор
| Формула / смысл | Размерность | |
|---|---|---|
| Числа Бетти | на заданных ε | несколько чисел |
| Суммарная персистентность | 1 на размерность | |
| Персистентная | , | 1 на размерность |
| Persistence image | растеризованная сглаженная диаграмма | десятки–сотни |
| Ландшафты | дискретизированные | десятки–сотни |
from gtda.diagrams import PersistenceEntropy, NumberOfPoints, Amplitude
from sklearn.pipeline import make_union
topo = make_union(PersistenceEntropy(), NumberOfPoints(),
Amplitude(metric="wasserstein"))
X_topo = topo.fit_transform(diagrams)
X_full = np.hstack([X_classic, X_topo]) # топология дополняет обычные признаки- Зафиксировать на классических с .
- Добавить топологические и повторить ровно ту же процедуру.
- Сравнить не только среднее, но и разброс по фолдам.
- Провести абляцию: какие именно топологические дали эффект.
Топологические считаются по объекту целиком (, ряда, изображение), поэтому их расчёт должен быть внутри фолда, если он зависит от обучающих данных.
Связанные темы
Признаки: создание, отбор, важность · Топология данных
Topology basics90%
Основы топологии · Топологический анализ данныхТопология изучает свойства, сохраняющиеся при непрерывных деформациях: связность, число дыр, компактность.
Simplicial complexes90%
Симплициальные комплексы · Топологический анализ данныхДискретная аппроксимация формы облака точек: точки, рёбра, треугольники и их многомерные аналоги.
Homology90%
Гомологии · Топологический анализ данныхАлгебраический аппарат, который считает дыры разных размерностей в топологическом пространстве.
Persistent Homology90%
Персистентные гомологии · Топологический анализ данныхЦентральный метод TDA: вместо одного порога ε рассматривается вся фильтрация, и отслеживается, когда топологические особенности рождаются и умирают.
Persistence Diagrams90%
Диаграммы персистентности · Топологический анализ данныхКаждая топологическая особенность — точка (рождение, смерть) на плоскости. Компактная сводка формы данных.
Persistence Landscapes90%
Ландшафты персистентности · Топологический анализ данныхПревращение диаграммы в набор кусочно-линейных функций — то есть в элемент гильбертова пространства.
Betti Numbers90%
Числа Бетти · Топологический анализ данныхРанги групп гомологий: β₀ — число компонент, β₁ — число независимых циклов, β₂ — число полостей.
Mapper90%
Алгоритм Mapper · Топологический анализ данныхСтроит граф-скелет данных: проекция фильтрующей функцией, покрытие интервалами, локальная кластеризация и склейка.
TDA + Machine Learning90%
TDA и машинное обучение · Топологический анализ данныхТопологические признаки подаются в бустинг или нейросеть, либо топология встраивается прямо в функцию потерь.
TDA + Time Series90%
TDA и временные ряды · Топологический анализ данныхРяд вкладывается в фазовое пространство (Такенс), и топология полученного облака описывает динамику системы.
Metric spaces90%
Метрические пространства · Топологический анализ данныхМножество с функцией расстояния. Любой TDA-пайплайн начинается с выбора метрики.
Feature engineering70%
Конструирование признаков · ДанныеСоздание признаков, в которых закономерность становится линейно отделимой или просто более заметной для модели.
Encoding70%
Кодирование категорий · ДанныеПеревод категориальных признаков в числа: one-hot, ordinal, target encoding, хеширование, эмбеддинги.
Feature selection70%
Отбор признаков · ДанныеУбираем шумные и избыточные признаки, чтобы снизить переобучение, ускорить инференс и упростить интерпретацию.
Feature engineering70%
Работа с признаками · Практика MLНа табличных данных грамотные признаки дают больший прирост, чем смена модели.
Feature importance70%
Важность признаков · Интерпретируемость моделейОценка вклада признаков в предсказания модели — первый шаг к пониманию её логики.
Permutation Importance70%
Перестановочная важность · Интерпретируемость моделейПризнак перемешивается, и измеряется падение качества модели — модельно-независимый и честный подход.
Feature Stores70%
Хранилища признаков · MLOpsЦентрализованное хранилище признаков, единое для обучения и онлайн-инференса.
Глава «Топологический анализ данных» последний раз правилась . Нашли ошибку — напишите.