Logistic Regression

Линейная модель классификации: переводит линейную комбинацию в вероятность класса.

p (y = 1 ∣ x) = \frac{1}{1 + e ^{- z}}, z = w^{⊤} x + b

Что означает каждый компонент

$p (y = 1 ∣ x)$ вероятность положительного класса для объекта x
$σ (z)$ сигмоида: сжимает любое число в отрезок от 0 до 1
$z$ логит — линейная комбинация признаков; при z = 0 вероятность ровно 0.5

Ключевые тезисы

Обучается минимизацией логистических потерь ().
Даёт хорошо откалиброванные вероятности — редкое и ценное свойство.
Остаётся стандартным в скоринге и медицине из-за интерпретируемости.

Какую задачу решает

решает задачу классификации, оставаясь линейной моделью. Взвешенная сумма пропускается через сигмоиду и превращается в вероятность — не в жёсткую метку, а именно в число от нуля до единицы, которое можно сравнивать, и превращать в решение своим порогом.

Это делает её рабочим стандартом там, где важно не только «да/нет», но и «насколько уверенно»: кредитный скоринг, медицинские риски, отклик на предложение. Плюс интерпретация в терминах отношения шансов — рост на единицу умножает шансы в $e^{w}$ раз — понятна людям без ML-подготовки.

Почему порог 0.5 почти всегда неверен

Модель предсказывает вероятность мошеннической транзакции. Пропустить мошенничество стоит 10 000 рублей, лишняя проверка — 100. Тогда блокировать надо при вероятности выше $100/10000 = 0.01$ , а не 0.5. С порогом 0.5 модель поймает единицы случаев, с порогом 0.01 — почти все, ценой роста проверок. Отсюда правило: обучайте на (чтобы вероятности были честными), а порог подбирайте отдельно, по стоимостей или по нужной точке на PR-кривой.

Подробный разбор

3 подтемы — объяснения, формулы, примеры и интерактивные графики.

Линейная функция принимает любые значения, а вероятность обязана лежать в $[0, 1]$ . — монотонное отображение всей прямой в этот отрезок, поэтому её и надевают поверх линейной комбинации.

p (y = 1 ∣ x) = σ (w^{⊤} x) = \frac{1}{1 + e ^{- w^{⊤} x}}

Обозначения

$σ (z)$ сигмоида: сжимает число в интервал от 0 до 1
$y$ истинное значение целевой переменной
$x$ объект: вектор признаков
$w$ веса модели — то, что подбирается при обучении
$p$ вероятность (или плотность распределения)
$x^{⊤}$ транспонирование: строка вместо столбца
$exp$ экспонента

Граница решения задаётся условием $p = 0.5$ , то есть $w^{⊤} x = 0$ — это гиперплоскость. Значит, остаётся линейным классификатором, несмотря на нелинейную сигмоиду.

p(y=1|x)0.818

логит wx+b1.50

граница (p=0.5)0.00

предсказаниекласс 1

Вес w1.0Смещение b0.0Объект x1.5

Меняйте $w$: чем он больше, тем резче переход — модель становится увереннее вблизи границы

Считаем, что ответы порождены распределением Бернулли с параметром $p_{i} = σ (w^{⊤} x_{i})$ . выборки — произведение вероятностей; логарифм превращает его в сумму, а минус — в задачу минимизации.

L (w) = - \frac{1}{n} i = 1 \sum n [y_{i} lo g p_{i} + (1 - y_{i}) lo g (1 - p_{i})]

Обозначения

$y$ истинное значение целевой переменной
$w$ веса модели — то, что подбирается при обучении
$n$ число объектов в выборке
$p$ вероятность (или плотность распределения)
$L$ функция потерь — то, что минимизируется при обучении
$\sum$ суммирование по всем перечисленным элементам
$lo g$ логарифм: превращает произведения в суммы и сжимает масштаб

Логистические потери = отрицательное логарифмическое

с сигмоидой даёт невыпуклую задачу и почти нулевые при насыщении — обучение застревает.
выпукла по $w$ : есть единственный минимум.
получается предельно простым: $\nabla L = \frac{1}{n} X^{⊤} (p - y)$ .

MSE4.00

MAE2.00

Huber1.50

Задача

δ у Huber1.0

Переключитесь на «Классификацию»: log loss штрафует уверенную ошибку неограниченно, в отличие от 0-1

Порог 0.5 не священен. Он оптимален только если ошибки FP и FN стоят одинаково и классы сбалансированы. В скоринге, медицине и фроде это почти никогда не так.

порог^{*} = \frac{C _{F P}}{C _{F P} + C _{F N}}

Обозначения

$F P$ ложные срабатывания: модель сказала «да», а это неправда
$F N$ пропуски: модель сказала «нет», а объект был положительным
$C$ параметр C: цена нарушения зазора. Большое C — почти не прощаем ошибок

Оптимальный порог при известных стоимостях ошибок

class_weight="balanced" перевзвешивает классы обратно их частоте.
Порог подбирается по валидации под нужный или под максимум — но никогда по тесту.
После перевзвешивания вероятности перестают быть калиброванными: если нужны честные вероятности, калибруйте отдельно.

Precision0.941

Recall0.841

F10.888

Accuracy0.936

TP / FP / FN252 / 16 / 48

Порог0.50Разделимость классов2.0Доля класса 130%

Двигайте порог: precision и recall всегда идут в противоположные стороны

Где применяется

Скоринг и оценка рисковКредиты, страхование, отток: нужна вероятность и объяснимая формула.
Медицинская диагностикаОценка риска с интерпретируемым вкладом каждого фактора — требование регуляторов.
классификацииПервая модель, с которой сравнивают всё остальное.
Ранжирование и CTRОгромные разреженные признаковые пространства — линейная модель там работает быстро и хорошо.
Калибровочный слойPlatt scaling — это поверх выходов другой модели.

Плюсы, минусы и альтернативы

Плюсы

Даёт калиброванные вероятности из коробки — редкое свойство.
Коэффициенты интерпретируются как отношения шансов.
Быстрое обучение и мгновенный даже на миллионах .
Устойчива при малых выборках и хорошо переносит .
задача: глобальный оптимум и никакой зависимости от инициализации.

Минусы

Граница решения линейна: сложные формы недоступны без ручных .
Взаимодействия нужно задавать явно.
Чувствительна к выбросам и к масштабу .
На идеально разделимых данных без веса расходятся.
На больших нелинейных задачах систематически уступает бустингу.

Брать, если

Нужны вероятности, а не только метки.
Требуется объяснимость решения перед регулятором или клиентом.
очень много и они разрежены (текст, категории).
Нужна быстрая надёжная .

Не брать, если

Граница классов заведомо нелинейна и признаков-взаимодействий не построить.
Табличная задача среднего размера, где важна только метрика, — сильнее.
Классов много и они плохо разделимы линейно.

Чем заменяют

Gradient BoostingактуальноГрадиентный бустинг · Классическое машинное обучениеНужна максимальная метрика на табличных данных и объяснимость не обязательна.PR-AUCактуальноPR-AUC · МетрикиКлассы сильно несбалансированы: выбор порога и метрики важнее выбора модели.SVMклассикаМетод опорных векторов · Классическое машинное обучениеДанных немного, размерность высока, а вероятности не нужны.

Тема также относится к главам:Интерпретируемость моделейПрозрачные модели

Связанные темы

Качество вероятностей · Нейросеть по кирпичикам · Объяснение предсказаний · Качество классификации

Кому эта тема нужна

Профильная компетенция для ролей: Data Scientist, Аналитик данных.

Спрашивают на собеседовании: Яндекс — Classic ML, Сбер — Скоринг и риски, МТС — Отток и персональные предложения, Альфа-Банк — Скоринг и кредитные риски, ВТБ — Риск-модели, Газпромбанк — Корпоративные риски, Совкомбанк — Скоринг и взыскание, МегаФон — Отток и предложения, СКБ Контур — Проверка контрагентов.

Добавить в учебную программу

Проверить себя

Тема встречается в тесте по направлениям — ошибки приведут обратно на эту страницу.

Тест: Классический ML24

Следующий шагПроверить себя: Классический MLТема встречается в этом тесте 1 раз. Ошибка приведёт обратно на эту страницу — с объяснением, что именно не сошлось.Перейти →

Глава «Классическое машинное обучение» последний раз правилась 27 августа 2026 г.. Нашли ошибку — напишите.

Ключевые тезисы

Какую задачу решает

Подробный разбор

Где применяется

Плюсы, минусы и альтернативы

Плюсы

Минусы

Брать, если

Не брать, если

Чем заменяют

Связанные темы

Log Loss98%

Calibration98%

Brier Score85%

Perplexity85%

SHAP85%

LIME85%

Partial Dependence85%

ICE85%

Counterfactual explanations85%

Permutation Importance85%

Accuracy85%

Precision85%

Recall85%

F185%

ROC-AUC85%

PR-AUC85%

MCC85%

Perceptron80%

MLP80%

Activation functions80%

Loss functions80%

Backpropagation80%

Optimizers80%

Сигмоида

Логит и шансы

Log loss

Порог решения

Регуляризация

Logistic Regression

Ключевые тезисы

Какую задачу решает

Подробный разбор

1От регрессии к вероятностиПочему нельзя просто предсказывать 0 и 1 линейной моделью.

2Почему не MSE, а log lossВывод функции потерь из принципа максимального правдоподобия.

3Порог и работа с дисбалансомМодель выдаёт вероятность — решение принимаете вы.

Где применяется

Плюсы, минусы и альтернативы

Плюсы

Минусы

Брать, если

Не брать, если

Чем заменяют

Связанные темы

Log Loss98%

Calibration98%

Brier Score85%

Perplexity85%

SHAP85%

LIME85%

Partial Dependence85%

ICE85%

Counterfactual explanations85%

Permutation Importance85%

Accuracy85%

Precision85%

Recall85%

F185%

ROC-AUC85%

PR-AUC85%

MCC85%

Perceptron80%

MLP80%

Activation functions80%

Loss functions80%

Backpropagation80%

Optimizers80%

Ключевые понятия5 определений из текста — каждое со ссылкой на разбор

Сигмоида

Логит и шансы

Log loss

Порог решения

Регуляризация