Персональные данные, доступы и специфические для ML риски.
Ключевые тезисы
- Минимизация данных: не логируйте персональные поля, если они не нужны для расследования.
- Риски ML: извлечение обучающих данных из модели, membership inference, .
- Для LLM-сервисов отдельно: prompt injection, утечка системного , доступ инструментов агента.
Подробный разбор
- Не логируйте персональные поля, если они не нужны для расследования; используйте хеши и .
- Разделяйте окружения: доступ к сырым данным — у , не у сервиса .
- Псевдонимизация и агрегация снижают риски без потери качества.
- Срок хранения логов должен быть конечным и соответствовать регламенту.
| Атака | Суть | Защита |
|---|---|---|
| Model extraction | воспроизведение модели по ответам API | лимиты, огрубление вероятностей |
| Membership inference | определение, был ли объект в обучении | , |
| examples | малое возмущение меняет ответ | , детекторы, |
| Prompt injection | инструкции внутри данных для | разделение данных и команд, ограничение прав инструментов |
| Data poisoning | порча обучающих данных | валидация источников, контроль изменений |
Видеолекции
Тайм-кода именно на эту тему в записях нет. Но глава «Системный дизайн ML-сервисов» разобрана в курсах целиком — с той оговоркой, что место в записи придётся искать самому.
Связанные темы
Безопасность и приватность ML · Приватность и утечки
Model Privacy Attacks85%
Атаки на приватность модели · Безопасность ИИМодель — сжатая копия обучающих данных: по её ответам можно узнать, кто в них был, и восстановить сами данные.
Differential Privacy85%
Дифференциальная приватность · Безопасность ИИМатематическая гарантия: по результату обучения нельзя определить, был ли в выборке конкретный человек.
Federated Learning85%
Федеративное обучение · Безопасность ИИОбучение на данных, которые нельзя собрать в одном месте: на сервер уезжают обновления весов, а не сами данные.
Synthetic Data85%
Синтетические данные · ДанныеГенерация обучающих данных: аугментации, симуляторы и генеративные модели. Способ обойти дефицит разметки и ограничения приватности.
Data leakage85%
Утечка данных · ДанныеСитуация, когда в обучении присутствует информация, недоступная в момент реального предсказания. Главная причина «слишком хороших» метрик.
Agents70%
Агенты · Генеративный ИИLLM, которая планирует, вызывает инструменты и итеративно движется к цели.
Prompting70%
Промптинг · Генеративный ИИУправление поведением модели через формулировку запроса, без изменения весов.
Data Contracts70%
Контракты данных · Инженерия данныхЯвная договорённость между источником и потребителем: какие поля, каких типов и с какими гарантиями.
Monitoring70%
Мониторинг · MLOpsНаблюдение за инфраструктурой, данными и качеством предсказаний после релиза.
Профильная компетенция для роли: LLM-инженер.
Усиливает профиль: Data Engineer, MLOps-инженер.
Спрашивают на собеседовании: Газпромбанк — Документы и языковые модели, МегаФон — Сеть и геоаналитика, билайн — Продукты на данных, Positive Technologies — Языковые модели в безопасности, BI.ZONE — Данные и аналитика угроз, Группа Астра — Платформа и эксплуатация ML, Cloud.ru — Модели как сервис, Cloud.ru — Платформа обучения, Т1 — Документы и ассистенты, Росатом — Документооборот и NLP.
Тема встречается в тесте по направлениям — ошибки приведут обратно на эту страницу.
Глава «Системный дизайн ML-сервисов» последний раз правилась . Нашли ошибку — напишите.