Организация разметки: инструкция, согласие аннотаторов и контроль качества. Потолок качества модели задаётся именно здесь.
Ключевые тезисы
- Согласие аннотаторов (Cohen's kappa) — верхняя граница достижимого качества модели.
- Золотой набор с известными ответами подмешивается в задания для контроля.
- Спорные случаи должны попадать к эксперту, а не решаться большинством голосов.
Подробный разбор
- Написать инструкцию с примерами и, главное, с разбором спорных случаев.
- Разметить 100 объектов самому — почти всегда инструкция после этого меняется.
- Измерить согласие аннотаторов на пересекающейся части (каппа Коэна).
- Подмешивать золотой набор с известными ответами для контроля качества.
- Настроить цикл: спорные случаи → эксперт → обновление инструкции.
Если два эксперта согласны в 85% случаев, ждать от модели 95% бессмысленно: оставшиеся 15% — это не ошибка модели, а неопределённость самой задачи. Часто выгоднее уточнить определение класса, чем менять архитектуру.
Практическое правило: прежде чем вкладываться в модель, проверьте, сколько ошибок в топ-100 самых уверенных ошибок относятся к разметке. Обычно их там от четверти до половины.
Видеолекции
Записи университетских курсов, где эта тема звучит. Тайм-кодов у них нет, поэтому открываются они с начала.
Связанные темы
Разметка и слабый надзор · Атаки на модель
Synthetic Data85%
Синтетические данные · ДанныеГенерация обучающих данных: аугментации, симуляторы и генеративные модели. Способ обойти дефицит разметки и ограничения приватности.
Active Learning85%
Активное обучение · Практика MLРазмечать в первую очередь те объекты, которые дадут наибольший прирост качества.
Weak Supervision85%
Слабая разметка · Практика MLПрограммная разметка эвристиками и правилами вместо ручной: быстро, шумно и часто достаточно.
Cohen's Kappa85%
Каппа Коэна · МетрикиСогласие двух разметчиков или модели с разметкой с поправкой на случайные совпадения.
Error analysis85%
Анализ ошибок · Оценка моделейРучной разбор случаев, где модель ошибается: почти всегда даёт больше, чем очередной перебор гиперпараметров.
Adversarial Examples85%
Состязательные примеры · Безопасность ИИНезаметное человеку возмущение входа, которое уверенно переключает ответ модели на неверный класс.
Data Poisoning and Backdoors85%
Отравление данных и бэкдоры · Безопасность ИИАтака на этапе обучения: в данные подмешивается триггер, и при его появлении на входе модель выдаёт заранее заданный ответ.
Prompt Injection85%
Промпт-инъекции · Безопасность ИИИнструкции, спрятанные во входных данных LLM: модель не отличает данные от команд и выполняет чужое указание.
Red Teaming85%
Красная команда · Безопасность ИИСистематический поиск способов заставить модель сделать то, чего она делать не должна, — до релиза, а не после.
Agents85%
Агенты · Генеративный ИИLLM, которая планирует, вызывает инструменты и итеративно движется к цели.
Профильная компетенция для ролей: NLP-инженер, Инженер речи.
Усиливает профиль: CV-инженер.
Спрашивают на собеседовании: Яндекс — NLP, Ozon — Поиск и рекомендации, Wildberries — Каталог, поиск и атрибуты, Lamoda — Зрение и атрибуты каталога, Dodo Brands — Зрение на кухне, HeadHunter — Тексты вакансий и резюме, 2ГИС — Зрение и данные о городе, 1С — Документы и распознавание, СКБ Контур — Документы и распознавание, Северсталь — Зрение в контроле качества, Росатом — Документооборот и NLP.
Глава «Данные» последний раз правилась . Нашли ошибку — напишите.