Mathematical Concepts
Математический справочник
Справочник понятий, которые встречаются во всех остальных главах. Каждое определение — на одну минуту чтения.
Vectorактуально
ВекторУпорядоченный набор чисел; в ML — представление объекта в пространстве признаков.
Matrixактуально
МатрицаПрямоугольная таблица чисел, задающая линейное преобразование или набор объектов.
Eigenvalueактуально
Собственное значениеКоэффициент растяжения вдоль направления, которое преобразование не поворачивает.
Eigenvectorактуально
Собственный векторНаправление, сохраняющееся при линейном преобразовании с точностью до масштаба.
Normактуально
НормаМера длины вектора; выбор нормы определяет геометрию задачи.
Distanceактуально
РасстояниеМера непохожести объектов — основа кластеризации, k-NN и поиска.
Linear Algebraактуально
Линейная алгебраиз «Основы»Векторы и матрицы — способ описать данные и преобразования над ними. Обучение модели почти всегда сводится к последовательности матричных операций.
Gradientактуально
ГрадиентВектор частных производных, указывающий направление наибыстрейшего роста функции.
Hessianактуально
ГессианМатрица вторых производных, описывающая локальную кривизну функции.
Jacobianактуально
Якобианиз «Математический анализ»Матрица частных производных векторной функции. Описывает, как преобразование растягивает пространство локально.
Taylor Seriesактуально
Ряд Тейлораиз «Математический анализ»Приближение функции многочленом по производным в точке. Инструмент, которым обосновывают почти все методы оптимизации.
Probability Distributionактуально
Распределение вероятностейЗакон, задающий вероятности значений случайной величины.
Expectationактуально
Математическое ожиданиеСреднее значение случайной величины по её распределению.
Varianceактуально
ДисперсияМера разброса значений вокруг среднего.
Covarianceактуально
КовариацияМера совместной изменчивости двух величин; корреляция — её нормированная версия.
Bayes Theoremактуально
Теорема БайесаПравило пересчёта вероятности гипотезы после получения новых данных.
Normal Distributionактуально
Нормальное распределениеиз «Теория вероятностей и распределения»Колоколообразное распределение с двумя параметрами. Максимально энтропийное при заданных среднем и дисперсии — поэтому его берут «по умолчанию».
Power Lawактуально
Степенное распределениеиз «Теория вероятностей и распределения»Плотность убывает как степень: редкие события встречаются намного чаще, чем предсказывает нормальный закон. Распределения Парето и Ципфа — его классические формы.
Entropyактуально
ЭнтропияМера неопределённости распределения: максимальна при равномерном, нулевая при детерминированном.
KL Divergenceактуально
KL-дивергенцияНасколько распределение q плохо описывает распределение p; несимметрична и не является метрикой.
Cross-Entropyактуально
Кросс-энтропияОжидаемая длина кода при использовании q для данных из p: энтропия p плюс KL(p‖q).
Information Theoryактуально
Теория информациииз «Основы»Измеряет количество информации и различие между распределениями. Отсюда родом энтропия, кросс-энтропия и KL-дивергенция.
6 тем показаны здесь из других глав — они подходят по смыслу и открываются в своей главе.