Генерация обучающих данных: , симуляторы и генеративные модели. Способ обойти дефицит разметки и ограничения приватности.
Ключевые тезисы
- Работает лучше всего там, где процесс порождения известен: , симуляция, шаблоны документов.
- Разрыв домена (sim-to-real) — главная проблема: модель учится на артефактах генератора.
- Синтетика от полезна для холодного старта, но требует проверки на дубликаты и смещения.
Подробный разбор
| Метод | Где работает | Ограничение |
|---|---|---|
| изображения, аудио, текст | не создаёт новых сущностей | |
| Симуляция / | зрение, робототехника | разрыв домена sim-to-real |
| Шаблоны и правила | документы, логи, табличные данные | не покрывает редкие случаи |
| Генеративные модели | текст, изображения | наследует смещения и может дублировать обучающие данные |
- всегда только реальная — иначе оценка не значит ничего.
- Проверяйте, отличает ли простой классификатор синтетику от реальных данных: если отличает легко, разрыв домена велик.
- Следите за дубликатами: склонен воспроизводить обучающие примеры почти дословно.
- Доля синтетики в обучении — ; часто оптимум далеко не 100%.
Видеолекции
Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.
Связанные темы
Разметка и слабый надзор · Приватность и утечки
Data Labeling85%
Разметка данных · ДанныеОрганизация разметки: инструкция, согласие аннотаторов и контроль качества. Потолок качества модели задаётся именно здесь.
Active Learning85%
Активное обучение · Практика MLРазмечать в первую очередь те объекты, которые дадут наибольший прирост качества.
Weak Supervision85%
Слабая разметка · Практика MLПрограммная разметка эвристиками и правилами вместо ручной: быстро, шумно и часто достаточно.
Cohen's Kappa85%
Каппа Коэна · МетрикиСогласие двух разметчиков или модели с разметкой с поправкой на случайные совпадения.
Error analysis85%
Анализ ошибок · Оценка моделейРучной разбор случаев, где модель ошибается: почти всегда даёт больше, чем очередной перебор гиперпараметров.
Model Privacy Attacks85%
Атаки на приватность модели · Безопасность ИИМодель — сжатая копия обучающих данных: по её ответам можно узнать, кто в них был, и восстановить сами данные.
Differential Privacy85%
Дифференциальная приватность · Безопасность ИИМатематическая гарантия: по результату обучения нельзя определить, был ли в выборке конкретный человек.
Federated Learning85%
Федеративное обучение · Безопасность ИИОбучение на данных, которые нельзя собрать в одном месте: на сервер уезжают обновления весов, а не сами данные.
Privacy and Security85%
Приватность и безопасность · Системный дизайн ML-сервисовПерсональные данные, доступы и специфические для ML риски.
Data leakage85%
Утечка данных · ДанныеСитуация, когда в обучении присутствует информация, недоступная в момент реального предсказания. Главная причина «слишком хороших» метрик.
Усиливает профиль: Data Scientist, Инженер рекомендаций.
Спрашивают на собеседовании: Северсталь — Зрение в контроле качества.
Глава «Данные» последний раз правилась . Нашли ошибку — напишите.