Confidence intervals

Показывают точность оценки метрики; одно число без интервала мало о чём говорит.

CI_{95%} = θ^\pm 1.96 \frac{σ ^}{n}

Что означает каждый компонент

$θ^$ точечная оценка — то самое число, которое вы посчитали на тесте
$1.96$ квантиль нормального распределения для 95% уровня доверия
$σ^/ n$ стандартная ошибка: падает как корень из объёма выборки. Вчетверо больше данных — вдвое уже интервал

Ключевые тезисы

Ширина интервала падает примерно как 1/√n.
Пересекающиеся интервалы двух моделей — повод не спешить с выводами.
Бутстрэп-интервалы работают там, где аналитическая формула недоступна.

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

CI_{95%} = θ^\pm 1.96 \frac{σ ^}{n}

Обозначения

$θ^$ оценка параметра по выборке
$σ$ стандартное отклонение — разброс величины
$θ$ параметры модели
$n$ число объектов в выборке

Нормальное приближение — работает при больших

n

и не работает для и медиан

Для метрик со сложным распределением (, , ) надёжнее бутстрэп-интервал по перцентилям. Для оценки по интервал строят по разбросу фолдов, помня, что фолды не независимы.

На практике

Правило большого пальца: ширина интервала падает как $1/ n$ . Чтобы сузить интервал вдвое, нужно вчетверо больше тестовых данных — иногда это дешевле, чем месяц улучшений модели.

n \approx (\frac{1.96 σ}{полуширина})^{2}

Обозначения

$σ$ стандартное отклонение — разброс величины
$n$ число объектов в выборке

Пример

Хотим оценить с точностью ±1 п.п. при ожидаемом значении около 0.9: $σ^{2} = 0.9 \cdot 0.1 = 0.09$ , значит $n \approx (1.96 \cdot 0.3/0.01)^{2} \approx 3500$ объектов.

На практике

Это часто вскрывает неприятную правду: тест на 300 объектов не способен различить модели, отличающиеся на 2 процентных пункта.

Связанные темы

Предельные теоремы · Эксперименты и статистика

Кому эта тема нужна

Профильная компетенция для ролей: Data Scientist, Аналитик данных.

Усиливает профиль: Data Engineer, Продуктовый инженер.

Спрашивают на собеседовании: Альфа-Банк — Персонализация и CVM, Совкомбанк — Продуктовая аналитика и эксперименты, ЮMoney — Конверсия платежа и эксперименты, X5 Tech — Цены и промо, Спортмастер — Закупка и ассортимент, Циан — Оценка недвижимости, билайн — Маркетинг и удержание, Газпром нефть — Геология и добыча, Северсталь — Оптимизация производства.

Добавить в учебную программу

Проверить себя

Тема встречается в тесте по направлениям — ошибки приведут обратно на эту страницу.

Тест: Статистика и вероятность24

Следующий шагПроверить себя: Статистика и вероятностьТема встречается в этом тесте 3 раза. Ошибка приведёт обратно на эту страницу — с объяснением, что именно не сошлось.Перейти →

Глава «Оценка моделей» последний раз правилась 27 августа 2026 г.. Нашли ошибку — напишите.

Ключевые тезисы

Подробный разбор

Связанные темы

Bootstrap95%

Statistics95%

Law of Large Numbers80%

Central Limit Theorem80%

Heavy Tails80%

Series and Convergence80%

Limits and Continuity80%

Statistical significance75%

Hypothesis testing75%

A/B testing75%

Ablation studies75%

Confidence intervals

Ключевые тезисы

Подробный разбор

1Как построить интервал для метрикиАналитически, бутстрэпом или по фолдам.

2Сколько нужно тестовых данныхОбратная задача: от желаемой точности к размеру выборки.

Связанные темы

Bootstrap95%

Statistics95%

Law of Large Numbers80%

Central Limit Theorem80%

Heavy Tails80%

Series and Convergence80%

Limits and Continuity80%

Statistical significance75%

Hypothesis testing75%

A/B testing75%

Ablation studies75%