Сеть учится восстанавливать вход через узкое место, получая сжатое представление.
Ключевые тезисы
- Латентный код — нелинейный аналог .
- Denoising-версия восстанавливает чистый вход из зашумлённого.
- Ошибка реконструкции — рабочий детектор .
Какую задачу решает
решает задачу сжатия без учителя: научиться представлять объект коротким так, чтобы по нему можно было восстановить исходник. Меток при этом не нужно — целью служит сам вход.
Архитектура из двух частей: энкодер сжимает объект в узкое место (bottleneck), декодер восстанавливает. Смысл в ограничении: если бы промежуточный был той же размерности, сеть выучила бы тождественное отображение. Узкое место вынуждает выбросить всё лишнее и оставить главные факторы вариации — то есть выучить представление.
Обучаем только на снимках исправных деталей. На валидации ошибка реконструкции держится в диапазоне 0.002–0.01. Приходит деталь с трещиной: трещины сеть никогда не видела, восстановить её не может и рисует гладкую поверхность — ошибка подскакивает до 0.05. Порог берём по 99-му перцентилю ошибок на нормальных данных. Бонус: карта поточечной ошибки прямо показывает, где дефект, — это готовое объяснение для оператора.
Подробный разбор
- объект: вектор признаков
- функция потерь — то, что минимизируется при обучении
- норма — длина вектора
Если энкодер и декодер линейны, а потери квадратичные, выучивает то же подпространство, что и . Нелинейности позволяют находить кривые многообразия, недоступные PCA.
- Denoising: на вход подаём зашумлённый объект, на выходе требуем чистый — сеть учится «понимать» структуру, а не копировать вход.
- Аномалии: обучаем только на нормальных данных; большая ошибка реконструкции = .
- Сжатие: латентный код используется как для классификатора или как пространство для (Stable Diffusion работает именно в латентном пространстве ).
Где применяется
- Модель учится на нормальных объектах; восстанавливается плохо, и величина ошибки реконструкции служит скором.
- Нелинейное Там, где ограничена линейностью, ловит кривые многообразия.
- Предобучение и Энкодер, обученный без меток, даёт для задач, где размеченных данных мало.
- ШумоподавлениеDenoising-вариант чистит изображения, звук и показания датчиков.
- Компонент генеративных системВ latent diffusion сжимает картинку в латент, а работает уже в нём — отсюда практичность Stable Diffusion.
Плюсы, минусы и альтернативы
Плюсы
- Не нужны метки — обучается на любых доступных данных.
- Ловит нелинейную структуру, недоступную .
- Гибкая архитектура: для картинок, рекуррентность для рядов, для последовательностей.
- Ошибка реконструкции сразу даёт готовый и интерпретируемый скор аномальности.
- Отличный сжиматель как часть более крупной системы.
Минусы
- Не генеративная модель: случайная точка латентного пространства декодируется в мусор.
- При слишком широком узком месте выучивает копирование и не даёт полезного представления.
- MSE-реконструкция даёт размытые изображения.
- Латентное пространство не структурировано: интерполяция между кодами не обязана быть осмысленной.
- Оценивать качество представления трудно — низкая ошибка реконструкции не означает полезных .
Брать, если
- Нужно представление или , а меток нет.
- Задача — на данных, где нормальных примеров много, а аномалий почти нет.
- Нужен сжиматель как компонент более крупной системы.
Не брать, если
- Нужна генерация новых объектов — берите , или диффузию.
- Зависимость близка к линейной: даст то же самое мгновенно и объяснимо.
- Есть метки и понятная целевая задача — обучение с учителем даст лучшие .
Чем заменяют
Видеолекции
Тайм-кода именно на эту тему в записях нет. Но глава «Глубокое обучение» разобрана в курсах целиком — с той оговоркой, что место в записи придётся искать самому.
Связанные темы
Представления и снижение размерности · Аномалии и выбросы
PCA70%
Метод главных компонент · Классическое машинное обучениеОртогональная проекция на направления максимальной дисперсии — линейное сжатие с минимальной потерей информации.
Dimensionality reduction70%
Снижение размерности · ДанныеПроекция данных в пространство меньшей размерности с сохранением структуры — против проклятия размерности.
Dimensionality Reduction70%
Снижение размерности · Обучение без учителяКомпактное представление данных, сохраняющее важную часть структуры.
Representation Learning70%
Обучение представлений · Обучение без учителяМодель сама учится полезным признакам, чаще всего через self-supervised задачи.
Embeddings70%
Эмбеддинги · Обработка естественного языкаПлотные векторные представления объектов, где геометрическая близость означает смысловое сходство.
Eigenvalue70%
Собственное значение · Математический справочникКоэффициент растяжения вдоль направления, которое преобразование не поворачивает.
Eigenvector70%
Собственный вектор · Математический справочникНаправление, сохраняющееся при линейном преобразовании с точностью до масштаба.
Outliers70%
Выбросы · ДанныеНаблюдения, резко отличающиеся от остальных. Они бывают ошибками измерения, а бывают самым ценным сигналом.
Anomaly Detection70%
Поиск аномалий · Обучение без учителяВыделение объектов, не похожих на основную массу данных, при отсутствии меток.
Anomaly detection70%
Поиск аномалий во времени · Временные рядыОбнаружение точечных выбросов, сдвигов уровня и аномальных подпоследовательностей.
Density Estimation70%
Оценка плотности · Обучение без учителяВосстановление распределения данных: где объекты встречаются часто, а где почти никогда.
TDA + Time Series70%
TDA и временные ряды · Топологический анализ данныхРяд вкладывается в фазовое пространство (Такенс), и топология полученного облака описывает динамику системы.
Всё, что названо в описании, разобрано здесь же или в соседней теме — переходы под каждым определением.
Энкодер
Сжимает объект в код фиксированной длины. После обучения обычно только он и нужен.
Разбор ниже: Узкое место и реконструкцияУзкое место (bottleneck)
Слой малой размерности, через который обязана пройти вся информация. Его ширина — главный .
Разбор ниже: Узкое место и реконструкцияДекодер
Восстанавливает объект из кода. Служит критиком для энкодера: если восстановил — значит, код информативен.
Разбор ниже: Узкое место и реконструкцияЛосс реконструкции
или между входом и выходом. Меток не требует, поэтому обучение self-supervised.
Разбор ниже: Узкое место и реконструкцияDenoising
На вход подают испорченный объект, а требуют чистый: сеть вынуждена выучить структуру, а не копировать.
Разбор ниже: ПримененияСпрашивают на собеседовании: Лаборатория Касперского — Поведенческий анализ и исследования, СИБУР — Предиктивное обслуживание.
Глава «Глубокое обучение» последний раз правилась . Нашли ошибку — напишите.