Мера неопределённости распределения: максимальна при равномерном, нулевая при детерминированном.
- вероятность исхода — вес, с которым он входит в среднее
- «неожиданность» исхода в битах: редкое событие несёт много информации, частое — мало
Ключевые тезисы
- Измеряется в битах при логарифме по основанию 2.
- Критерий разбиения в решающих деревьях (information gain).
- Определяет нижнюю границу длины кода сообщения.
Какую задачу решает
измеряет неопределённость распределения: сколько в среднем информации нужно, чтобы узнать исход. Честная монета даёт 1 бит, монета с вероятностью орла 0.99 — около 0.08 бита, потому что исход почти известен заранее.
В машинном обучении это понятие работает в двух ролях. Как критерий разбиения в деревьях: хорошее разбиение — то, что сильнее всего снижает неопределённость целевой переменной. И как основа : и , на которых обучается вся классификация и всё языковое моделирование, — прямые от .
Узел дерева: 50 положительных и 50 отрицательных объектов, равна 1 биту — полная неопределённость. Разбиение A даёт две части по 45/5 и 5/45: энтропия каждой около 0.47, средневзвешенная тоже 0.47, information gain 0.53. Разбиение B даёт 30/20 и 20/30: энтропия около 0.97, gain всего 0.03. Дерево выберет A, потому что после него в каждой ветке почти ясно, какой класс. Ровно этот расчёт повторяется в каждом узле по всем признакам и порогам — и в этом весь алгоритм построения дерева.
Подробный разбор
- энтропия — мера неопределённости распределения
- вектор или точка пространства признаков
- вероятность (или показатель нормы)
- суммирование по всем перечисленным элементам
- логарифм: превращает произведения в суммы и сжимает масштаб
Восемь равновероятных исходов: бита — ровно три вопроса с делением пополам. Если один исход имеет вероятность 0.99, падает почти до нуля: обычно ответ известен заранее.
Дерево ищет вопрос, максимально снижающий неопределённость ответа. Information Gain — это в точности разность до и после разбиения, взвешенная по размерам частей.
Где применяется
- Критерий разбиения в деревьяхInformation gain выбирает , сильнее всего снижающий неопределённость.
- — стандарт обучения классификаторов и языковых моделей.
- Взаимная информация как мера связи с целью, ловящая и нелинейные зависимости.
- Активное обучениеРазмечать в первую объекты, на которых модель наиболее неуверенна, то есть с максимальной предсказания.
- Сжатие данных задаёт теоретический предел сжатия — исходная область применения понятия.
Плюсы, минусы и альтернативы
Плюсы
- Строгая мера неопределённости с ясной интерпретацией в битах.
- Ловит любые зависимости, а не только линейные.
- Связывает деревья, и теорию информации одним понятием.
- Не требует предположений о виде распределения.
Минусы
- Оценка по выборке смещена, особенно при большом числе категорий.
- Для непрерывных величин требует дискретизации, а результат зависит от её способа.
- Само значение вне контекста мало о чём говорит.
Брать, если
- Нужно измерить неопределённость или количество информации.
- Отбираются и важны нелинейные связи.
- Строится дерево или выбирается .
Не брать, если
- Достаточно : она проще и привычнее для линейных связей.
- Категорий очень много при малой выборке — оценка будет ненадёжной.
Чем заменяют
Видеолекции
Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.
Связанные темы
Вероятность и информация
Probability70%
Теория вероятностей · ОсновыЯзык неопределённости: распределения, условные вероятности и теорема Байеса описывают, как данные порождаются и как обновлять убеждения.
Statistics70%
Статистика · ОсновыКак от выборки перейти к выводам о генеральной совокупности: оценки, доверительные интервалы и проверка гипотез.
Information Theory70%
Теория информации · ОсновыИзмеряет количество информации и различие между распределениями. Отсюда родом энтропия, кросс-энтропия и KL-дивергенция.
Probability Distribution70%
Распределение вероятностей · Математический справочникЗакон, задающий вероятности значений случайной величины.
Expectation70%
Математическое ожидание · Математический справочникСреднее значение случайной величины по её распределению.
Variance70%
Дисперсия · Математический справочникМера разброса значений вокруг среднего.
Covariance70%
Ковариация · Математический справочникМера совместной изменчивости двух величин; корреляция — её нормированная версия.
KL Divergence70%
KL-дивергенция · Математический справочникНасколько распределение q плохо описывает распределение p; несимметрична и не является метрикой.
Cross-Entropy70%
Кросс-энтропия · Математический справочникОжидаемая длина кода при использовании q для данных из p: энтропия p плюс KL(p‖q).
Bayes Theorem70%
Теорема Байеса · Математический справочникПравило пересчёта вероятности гипотезы после получения новых данных.
Naive Bayes70%
Наивный байесовский классификатор · Классическое машинное обучениеПрименяет теорему Байеса при «наивном» предположении о независимости признаков — и работает лучше, чем должно.
Log Loss70%
Логарифмические потери · МетрикиОценивает качество самих вероятностей, а не только меток: уверенная ошибка штрафуется очень сильно.
Всё, что названо в описании, разобрано здесь же или в соседней теме — переходы под каждым определением.
Единицы измерения
Биты при , наты при натуральном логарифме. Разница только в масштабе.
Разбор ниже: Энтропия в битахМаксимум на равномерном
Неопределённость максимальна, когда все исходы равновероятны.
Разбор ниже: Энтропия в битахInformation gain
Снижение после разбиения — критерий выбора в дереве.
Разбор ниже: Энтропия в решающих деревьяхСвязь с кросс-энтропией
равна плюс : неустранимая часть плюс штраф за неточность модели.
Отдельная тема: Cross-Entropy — Кросс-энтропияГлава «Математический справочник» последний раз правилась . Нашли ошибку — напишите.