КабинетПоиск
Практика ML

Weak Supervision

Слабая разметка

новинкаНовое или быстро растущее направление

Направления: Машинное обучение · AutoML

Программная разметка эвристиками и правилами вместо ручной: быстро, шумно и часто достаточно.

Ключевые тезисы

  • Несколько несовершенных правил объединяются в одну метку с оценкой их надёжности.
  • всё чаще используется как источник слабой разметки для холодного старта.
  • Валидационный набор всё равно должен быть размечен вручную — иначе оценка бессмысленна.

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

def lf_keyword(x):     return SPAM if "выигрыш" in x.text.lower() else ABSTAIN
def lf_links(x):       return SPAM if x.n_links > 5 else ABSTAIN
def lf_sender_age(x):  return HAM  if x.sender_days > 365 else ABSTAIN

Модель объединения (label model) оценивает надёжность каждого правила по их согласию друг с другом — без единой размеченной вручную метки — и выдаёт вероятностные метки для обучения.

  • Быстрый холодный старт: тысячи размеченных примеров за часы вместо недель.
  • Обязательна ручная проверка выборки: систематическая ошибка модели перейдёт в вашу модель целиком.
  • Валидационный и тестовый наборы всегда размечаются людьми.
  • Полезный приём: размечает, человек проверяет только спорные случаи (низкая уверенность).
Тема также относится к главам:ДанныеРазметка и объём данных

Видеолекции

Тайм-кода именно на эту тему в записях нет. Но глава «Практика ML» разобрана в курсах целиком — с той оговоркой, что место в записи придётся искать самому.

Курс: Системный дизайн ML7 записейКурс: Введение в MLOps5 записей

Связанные темы

Разметка и слабый надзор

Data Labeling85%

Разметка данных · Данные

Организация разметки: инструкция, согласие аннотаторов и контроль качества. Потолок качества модели задаётся именно здесь.

Synthetic Data85%

Синтетические данные · Данные

Генерация обучающих данных: аугментации, симуляторы и генеративные модели. Способ обойти дефицит разметки и ограничения приватности.

Active Learning85%

Активное обучение · Практика ML

Размечать в первую очередь те объекты, которые дадут наибольший прирост качества.

Cohen's Kappa85%

Каппа Коэна · Метрики

Согласие двух разметчиков или модели с разметкой с поправкой на случайные совпадения.

Error analysis85%

Анализ ошибок · Оценка моделей

Ручной разбор случаев, где модель ошибается: почти всегда даёт больше, чем очередной перебор гиперпараметров.

Кому эта тема нужна

Профильная компетенция для ролей: NLP-инженер, Инженер речи.

Усиливает профиль: CV-инженер.

Спрашивают на собеседовании: Лаборатория Касперского — Поведенческий анализ и исследования, Positive Technologies — Аналитика событий и приоритизация.

Добавить в учебную программу
Следующий шагДальше по связи: Data LabelingОрганизация разметки: инструкция, согласие аннотаторов и контроль качества. Потолок качества модели задаётся именно здесь.Перейти →
← Active Learning

Глава «Практика ML» последний раз правилась . Нашли ошибку — напишите.