Entropy

Мера неопределённости распределения: максимальна при равномерном, нулевая при детерминированном.

H (p) = - x \sum p (x) lo g_{2} p (x)

Что означает каждый компонент

$p (x)$ вероятность исхода — вес, с которым он входит в среднее
$- lo g_{2} p (x)$ «неожиданность» исхода в битах: редкое событие несёт много информации, частое — мало

Энтропия — средняя неожиданность: максимум при равновероятных исходах

Ключевые тезисы

Измеряется в битах при логарифме по основанию 2.
Критерий разбиения в решающих деревьях (information gain).
Определяет нижнюю границу длины кода сообщения.

Тема также относится к главам:ОсновыВероятность и статистика

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Энтропия в битах

Сколько вопросов «да/нет» нужно задать в среднем.

H (p) = - x \sum p (x) lo g_{2} p (x)

Обозначения

$H (p)$ энтропия — мера неопределённости распределения
$x$ вектор или точка пространства признаков
$p$ вероятность (или показатель нормы)
$\sum$ суммирование по всем перечисленным элементам
$lo g$ логарифм: превращает произведения в суммы и сжимает масштаб

Пример

Восемь равновероятных исходов: $H = lo g_{2} 8 = 3$ бита — ровно три вопроса с делением пополам. Если один исход имеет вероятность 0.99, энтропия падает почти до нуля: обычно ответ известен заранее.

H(p)1.000 бит

H(p, q)1.000 бит

KL(p‖q)0.000 бит

Истинная вероятность p0.50Предсказание модели q0.50

Энтропия Бернулли максимальна при p = 0.5 и обращается в ноль на концах

Энтропия в решающих деревьях

Как теоретико-информационная величина стала критерием разбиения.

Дерево ищет вопрос, максимально снижающий неопределённость ответа. Information Gain — это в точности разность энтропий до и после разбиения, взвешенная по размерам частей.

H(корень)0.498

H(лево)0.375

H(право)0.245

Information Gain0.183

Порог предиката x > t0.50

Критерий информативности

Переключите критерий на энтропию: значения изменятся, но выбранный порог обычно останется тем же

Связанные темы

Вероятность и информация

Ключевые тезисы

Подробный разбор

Энтропия в битах

Энтропия в решающих деревьях

Связанные темы

Probability70%

Statistics70%

Information Theory70%

Probability Distribution70%

Expectation70%

Variance70%

Covariance70%

KL Divergence70%

Cross-Entropy70%

Bayes Theorem70%

Naive Bayes70%

Log Loss70%