Covariance — Ковариация

Мера совместной изменчивости двух величин; корреляция — её нормированная версия.

Ключевые тезисы

Ковариационная матрица описывает форму облака данных.
Нулевая ковариация не означает независимости.
Основа PCA и расстояния Махаланобиса.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Ковариационная матрица

Форма облака данных в одной таблице.

Σ_{ij} = E [(X_{i} - μ_{i}) (X_{j} - μ_{j})], ρ_{ij} = \frac{Σ _{ij}}{σ _{i} σ _{j}}

Обозначения

$E [\cdot]$ математическое ожидание — среднее по распределению
$σ$ стандартное отклонение — разброс величины
$μ$ среднее значение

На практике

Нулевая ковариация означает отсутствие линейной связи, но не независимость: у $Y = X^{2}$ при симметричном $X$ ковариация равна нулю, хотя зависимость полная.

Мультиколлинеарность

Что делает почти линейная зависимость признаков.

VIF_{j} = \frac{1}{1 - R _{j}^{2}}

R_{j}^{2}

— качество предсказания признака

j

по остальным; VIF > 10 считается проблемным

Коэффициенты линейной модели становятся нестабильными: малое изменение данных сильно меняет их значения.
Предсказания при этом могут оставаться хорошими — страдает именно интерпретация.
Лечится Ridge-регуляризацией, отбором признаков или PCA.

Связанные темы

Вероятность и информация

Probability70%

Теория вероятностей · Основы

Язык неопределённости: распределения, условные вероятности и теорема Байеса описывают, как данные порождаются и как обновлять убеждения.

Statistics70%

Статистика · Основы

Как от выборки перейти к выводам о генеральной совокупности: оценки, доверительные интервалы и проверка гипотез.

Information Theory70%

Теория информации · Основы

Измеряет количество информации и различие между распределениями. Отсюда родом энтропия, кросс-энтропия и KL-дивергенция.

Probability Distribution70%

Распределение вероятностей · Математический справочник

Закон, задающий вероятности значений случайной величины.

Expectation70%

Математическое ожидание · Математический справочник

Среднее значение случайной величины по её распределению.

Variance70%

Дисперсия · Математический справочник

Мера разброса значений вокруг среднего.

Entropy70%

Энтропия · Математический справочник

Мера неопределённости распределения: максимальна при равномерном, нулевая при детерминированном.

KL Divergence70%

KL-дивергенция · Математический справочник

Насколько распределение q плохо описывает распределение p; несимметрична и не является метрикой.

Cross-Entropy70%

Кросс-энтропия · Математический справочник

Ожидаемая длина кода при использовании q для данных из p: энтропия p плюс KL(p‖q).

Bayes Theorem70%

Теорема Байеса · Математический справочник

Правило пересчёта вероятности гипотезы после получения новых данных.

Naive Bayes70%

Наивный байесовский классификатор · Классическое машинное обучение

Применяет теорему Байеса при «наивном» предположении о независимости признаков — и работает лучше, чем должно.

Log Loss70%

Логарифмические потери · Метрики

Оценивает качество самих вероятностей, а не только меток: уверенная ошибка штрафуется очень сильно.