Процесс вокруг модели: классификация риска, документация, контроль изменений и ответственность за решения.
Ключевые тезисы
- EU AI Act делит системы по уровню риска; для высокорисковых обязательны документация, надзор человека и журналирование.
- NIST AI RMF описывает цикл govern — — measure — manage: риски выявляются и измеряются, а не декларируются.
- Model card и datasheet фиксируют назначение, ограничения и данные модели — без них нельзя разобрать инцидент.
Подробный разбор
| Документ | Содержание |
|---|---|
| Model card | назначение, ограничения, метрики по группам, известные сценарии отказа |
| Datasheet | происхождение данных, разметка, лицензии, известные смещения |
| Оценка риска | класс риска системы и меры, снижающие его |
| Журнал решений | что менялось в модели и данных, кем и когда |
EU AI Act делит системы по уровню риска: для высокорисковых обязательны техническая документация, надзор человека, журналирование и оценка соответствия. NIST AI RMF описывает то же с другой стороны — как цикл govern → → measure → manage.
Практический смысл документации не в комплаенсе: без зафиксированных ограничений и данных ни один инцидент невозможно разобрать через полгода, когда авторов модели уже нет в команде.
Видеолекции
Тайм-кода именно на эту тему в записях нет. Но глава «Безопасность ИИ» разобрана в курсе целиком — с той оговоркой, что место в записи придётся искать самому.
Связанные темы
Безопасная эксплуатация
Secure Inference75%
Защита инференса · Безопасность ИИПериметр вокруг работающей модели: что происходит с запросом до того, как он дойдёт до весов, и после того, как ответ получен.
Reliability75%
Отказоустойчивость · Системный дизайн ML-сервисовЧто происходит, когда модель недоступна, отвечает медленно или выдаёт мусор.
Observability75%
Наблюдаемость · Системный дизайн ML-сервисовЛоги, метрики и трассировки, по которым можно восстановить, что произошло с конкретным запросом.
Monitoring75%
Мониторинг · MLOpsНаблюдение за инфраструктурой, данными и качеством предсказаний после релиза.
Data Contracts75%
Контракты данных · Инженерия данныхЯвная договорённость между источником и потребителем: какие поля, каких типов и с какими гарантиями.
Профильная компетенция для роли: LLM-инженер.
Усиливает профиль: Data Engineer, MLOps-инженер.
Спрашивают на собеседовании: Сбер — Промышленный ML и MLOps, HeadHunter — Матчинг и рекомендации, HeadHunter — Тексты вакансий и резюме.
Глава «Безопасность ИИ» последний раз правилась . Нашли ошибку — напишите.