Hypothesis testing

Формальная процедура принятия решения на основе данных: , статистика, уровень значимости.

Ключевые тезисы

Ошибки I рода (ложное открытие) и II рода (пропуск эффекта).
Мощность теста зависит от размера эффекта и объёма выборки.
— не вероятность того, что гипотеза верна.

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

Сформулировать $H_{0}$ (эффекта нет) и $H_{1}$ .
Выбрать уровень значимости $α$ до эксперимента.
Посчитать статистику критерия.
Получить — вероятность такого или более экстремального результата при верной $H_{0}$ .
Сравнить с $α$ и сделать вывод — только о $H_{0}$ , не о «доказанной» $H_{1}$ .

Ситуация	Тест
Средние двух групп	t-тест (или Манна — Уитни)
Доли (конверсии)	z-тест для пропорций, χ²
Парные измерения	парный t-тест, Уилкоксон
Распределения целиком	Колмогоров — Смирнов

	B верно	B неверно
A верно	$n_{11}$	$n_{10}$
A неверно	$n_{01}$	$n_{00}$

χ^{2} = \frac{( ∣ n _{10} - n _{01} ∣ - 1 ) ^{2}}{n _{10} + n _{01}}

Важны только объекты, где модели разошлись

Логика проста: совпадающие ответы ничего не говорят о разнице между моделями. Если из 100 расхождений 70 в пользу A — это уже статистически значимо.

Связанные темы

Онлайн-эксперименты · Эксперименты и статистика

A/B testing96%

A/B-тестирование · Оценка моделей

Онлайн-эксперимент, который единственный честно измеряет влияние модели на продуктовые метрики.

Statistical significance96%

Статистическая значимость · Оценка моделей

Проверка, что разница между моделями не объясняется случайностью выборки.

Experiment Infrastructure85%

Инфраструктура экспериментов · Системный дизайн ML-сервисов

Механика раскатки: разделение трафика, стабильные группы, метрики и автоматический откат.

Binomial & Bernoulli85%

Бернулли и биномиальное · Теория вероятностей и распределения

Один успех или число успехов в серии независимых испытаний — базовая модель конверсии и кликов.

Central Limit Theorem85%

Центральная предельная теорема · Теория вероятностей и распределения

Сумма большого числа независимых слагаемых со сравнимым вкладом распределена приближённо нормально.

Confidence intervals75%

Доверительные интервалы · Оценка моделей

Показывают точность оценки метрики; одно число без интервала мало о чём говорит.

Bootstrap75%

Бутстрэп · Оценка моделей

Многократная выборка с возвращением: даёт распределение метрики и доверительные интервалы без предположений о нормальности.

Ablation studies75%

Абляционные исследования · Оценка моделей

Поочерёдное отключение компонентов, чтобы понять, что именно даёт прирост качества.

Statistics75%

Статистика · Основы

Как от выборки перейти к выводам о генеральной совокупности: оценки, доверительные интервалы и проверка гипотез.

Кому эта тема нужна

Профильная компетенция для ролей: Data Scientist, Аналитик данных.

Усиливает профиль: Data Engineer, Продуктовый инженер.

Спрашивают на собеседовании: Альфа-Банк — Персонализация и CVM, Совкомбанк — Продуктовая аналитика и эксперименты, ЮMoney — Конверсия платежа и эксперименты, Магнит — Лояльность и персонализация, Авиасейлс — Ранжирование предложений, билайн — Маркетинг и удержание.

Добавить в учебную программу

Проверить себя

Тема встречается в тестах по направлениям — ошибки приведут обратно на эту страницу.

Тест: Временные ряды24 Тест: Статистика и вероятность24

Следующий шагПроверить себя: Временные рядыТема встречается в этом тесте 1 раз. Ошибка приведёт обратно на эту страницу — с объяснением, что именно не сошлось.Перейти →

Глава «Оценка моделей» последний раз правилась 27 августа 2026 г.. Нашли ошибку — напишите.