Размечать в первую те объекты, которые дадут наибольший прирост качества.
Ключевые тезисы
- Стратегии отбора: наименьшая уверенность, наибольшая , разногласие .
- Экономия разметки достигает 2–5 раз на задачах с дорогими экспертами.
- Опасность: выборка перестаёт быть репрезентативной, и оценка качества смещается.
Подробный разбор
| Стратегия | Идея |
|---|---|
| Least confidence | объекты с максимальной неуверенностью модели |
| Margin sampling | минимальный разрыв между двумя топ-классами |
| Entropy | максимальная распределения по классам |
| Query by committee | объекты, по которым модели расходятся |
| Diversity | покрытие пространства , а не только сложные случаи |
Чистая неуверенность склонна выбирать и шум разметки. Практичнее комбинировать её с разнообразием и отбирать батчами, а не по одному.
- перестаёт быть репрезентативной — оценка качества на ней смещается.
- Отложенный тест обязан набираться случайно, а не активным отбором.
- Смена модели меняет и стратегию отбора: накопленная выборка «заточена» под старую.
Видеолекции
Тайм-кода именно на эту тему в записях нет. Но глава «Практика ML» разобрана в курсах целиком — с той оговоркой, что место в записи придётся искать самому.
Связанные темы
Разметка и слабый надзор
Data Labeling85%
Разметка данных · ДанныеОрганизация разметки: инструкция, согласие аннотаторов и контроль качества. Потолок качества модели задаётся именно здесь.
Synthetic Data85%
Синтетические данные · ДанныеГенерация обучающих данных: аугментации, симуляторы и генеративные модели. Способ обойти дефицит разметки и ограничения приватности.
Weak Supervision85%
Слабая разметка · Практика MLПрограммная разметка эвристиками и правилами вместо ручной: быстро, шумно и часто достаточно.
Cohen's Kappa85%
Каппа Коэна · МетрикиСогласие двух разметчиков или модели с разметкой с поправкой на случайные совпадения.
Error analysis85%
Анализ ошибок · Оценка моделейРучной разбор случаев, где модель ошибается: почти всегда даёт больше, чем очередной перебор гиперпараметров.
Профильная компетенция для ролей: NLP-инженер, Инженер речи.
Усиливает профиль: CV-инженер.
Спрашивают на собеседовании: СКБ Контур — Документы и распознавание, СИБУР — Предиктивное обслуживание.
Глава «Практика ML» последний раз правилась . Нашли ошибку — напишите.