Active Learning — Активное обучение

Размечать в первую очередь те объекты, которые дадут наибольший прирост качества.

Ключевые тезисы

Стратегии отбора: наименьшая уверенность, наибольшая энтропия, разногласие ансамбля.
Экономия разметки достигает 2–5 раз на задачах с дорогими экспертами.
Опасность: выборка перестаёт быть репрезентативной, и оценка качества смещается.

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Что размечать в первую очередь.

Стратегия	Идея
Least confidence	объекты с максимальной неуверенностью модели
Margin sampling	минимальный разрыв между двумя топ-классами
Entropy	максимальная энтропия распределения по классам
Query by committee	объекты, по которым модели ансамбля расходятся
Diversity	покрытие пространства признаков, а не только сложные случаи

На практике

Чистая неуверенность склонна выбирать выбросы и шум разметки. Практичнее комбинировать её с разнообразием и отбирать батчами, а не по одному.

Чем платят за экономию разметки.

Обучающая выборка перестаёт быть репрезентативной — оценка качества на ней смещается.
Отложенный тест обязан набираться случайно, а не активным отбором.
Смена модели меняет и стратегию отбора: накопленная выборка «заточена» под старую.

Разметка и слабый надзор

Организация разметки: инструкция, согласие аннотаторов и контроль качества. Потолок качества модели задаётся именно здесь.

Генерация обучающих данных: аугментации, симуляторы и генеративные модели. Способ обойти дефицит разметки и ограничения приватности.

Программная разметка эвристиками и правилами вместо ручной: быстро, шумно и часто достаточно.

Согласие двух разметчиков или модели с разметкой с поправкой на случайные совпадения.

Ручной разбор случаев, где модель ошибается: почти всегда даёт больше, чем очередной перебор гиперпараметров.