Model Evaluation
Оценка моделей
Валидация, статистика и анализ ошибок: инструменты, отделяющие реальное улучшение от случайного колебания метрики.
Что означают метки тем
Cross-validationактуально
Кросс-валидацияМногократное разбиение выборки, дающее оценку качества вместе с её разбросом.
K-Foldактуально
K-FoldДанные делятся на K частей; каждая по очереди становится валидационной.
Stratified K-Foldактуально
Стратифицированный K-FoldK-Fold с сохранением пропорции классов в каждом фолде.
Bootstrapактуально
БутстрэпМногократная выборка с возвращением: даёт распределение метрики и доверительные интервалы без предположений о нормальности.
Leave-One-Outклассика
Leave-One-OutПредельный случай: валидация состоит ровно из одного объекта, и так N раз.
Train / Validation / Test splitактуально
Разбиение выборкииз «Данные»Train учит, validation настраивает гиперпараметры, test даёт единственную честную оценку — и используется один раз.
Data leakageактуально
Утечка данныхиз «Данные»Ситуация, когда в обучении присутствует информация, недоступная в момент реального предсказания. Главная причина «слишком хороших» метрик.
Statistical significanceактуально
Статистическая значимостьПроверка, что разница между моделями не объясняется случайностью выборки.
Confidence intervalsактуально
Доверительные интервалыПоказывают точность оценки метрики; одно число без интервала мало о чём говорит.
Hypothesis testingактуально
Проверка гипотезФормальная процедура принятия решения на основе данных: нулевая гипотеза, статистика, уровень значимости.
A/B testingактуально
A/B-тестированиеОнлайн-эксперимент, который единственный честно измеряет влияние модели на продуктовые метрики.
Central Limit Theoremактуально
Центральная предельная теоремаиз «Теория вероятностей и распределения»Сумма большого числа независимых слагаемых со сравнимым вкладом распределена приближённо нормально.
Experiment Infrastructureактуально
Инфраструктура экспериментовиз «Системный дизайн ML-сервисов»Механика раскатки: разделение трафика, стабильные группы, метрики и автоматический откат.
Calibrationактуально
КалибровкаСоответствие предсказанных вероятностей реальным частотам событий.
Error analysisактуально
Анализ ошибокРучной разбор случаев, где модель ошибается: почти всегда даёт больше, чем очередной перебор гиперпараметров.
Ablation studiesактуально
Абляционные исследованияПоочерёдное отключение компонентов, чтобы понять, что именно даёт прирост качества.
Overfittingактуально
Переобучениеиз «Практика ML»Модель запомнила обучающую выборку вместе с шумом: train-метрика отличная, val — плохая.
5 тем показаны здесь из других глав — они подходят по смыслу и открываются в своей главе.