Модель — сжатая копия обучающих данных: по её ответам можно узнать, кто в них был, и восстановить сами данные.
Ключевые тезисы
- Membership inference определяет, участвовал ли конкретный объект в обучении — по уверенности и величине потерь.
- Model inversion восстанавливает типичный объект класса, а извлечение (extraction) копирует модель по её же ответам.
- дословно запоминают редкие строки: телефоны, ключи и куски документов достаются из модели .
Подробный разбор
| Атака | Что получает | Чем ограничивают |
|---|---|---|
| Membership inference | факт участия объекта в обучении | , DP-обучение |
| Model inversion | типичный объект класса | ограничение выдачи вероятностей |
| Model extraction | копию модели по её ответам | лимиты запросов, водяные знаки |
| Запоминание | дословные фрагменты обучающего текста | дедупликация корпуса, фильтр вывода |
Общий механизм один: модель ведёт себя на обучающих объектах иначе, чем на новых — увереннее и с меньшими потерями. Разрыв между train и test — это и есть канал утечки.
сырых вероятностей всех классов заметно упрощает и membership inference, и извлечение модели. Часто достаточно возвращать только метку и округлённую уверенность.
Видеолекции
Тайм-кода именно на эту тему в записях нет. Но глава «Безопасность ИИ» разобрана в курсе целиком — с той оговоркой, что место в записи придётся искать самому.
Связанные темы
Приватность и утечки
Differential Privacy85%
Дифференциальная приватность · Безопасность ИИМатематическая гарантия: по результату обучения нельзя определить, был ли в выборке конкретный человек.
Federated Learning85%
Федеративное обучение · Безопасность ИИОбучение на данных, которые нельзя собрать в одном месте: на сервер уезжают обновления весов, а не сами данные.
Privacy and Security85%
Приватность и безопасность · Системный дизайн ML-сервисовПерсональные данные, доступы и специфические для ML риски.
Synthetic Data85%
Синтетические данные · ДанныеГенерация обучающих данных: аугментации, симуляторы и генеративные модели. Способ обойти дефицит разметки и ограничения приватности.
Data leakage85%
Утечка данных · ДанныеСитуация, когда в обучении присутствует информация, недоступная в момент реального предсказания. Главная причина «слишком хороших» метрик.
Глава «Безопасность ИИ» последний раз правилась . Нашли ошибку — напишите.