Logistic Regression

Линейная функция принимает любые значения, а вероятность обязана лежать в $[0,1]$. Сигмоида — монотонное отображение всей прямой в этот отрезок, поэтому её и надевают поверх линейной комбинации.

Граница решения задаётся условием $p=0.5$, то есть $w^{\top }x=0$ — это гиперплоскость. Значит, логистическая регрессия остаётся линейным классификатором, несмотря на нелинейную сигмоиду.

Считаем, что ответы порождены распределением Бернулли с параметром $p_i=\sigma (w^{\top }{x}_i)$. Правдоподобие выборки — произведение вероятностей; логарифм превращает его в сумму, а минус — в задачу минимизации.

• MSE с сигмоидой даёт невыпуклую задачу и почти нулевые градиенты при насыщении — обучение застревает.
• Log loss выпукла по $w$: есть единственный минимум.
• Градиент получается предельно простым: $\nabla L=\frac{1}{n}{X}^{\top }(p-y)$.

Порог 0.5 не священен. Он оптимален только если ошибки FP и FN стоят одинаково и классы сбалансированы. В скоринге, медицине и фроде это почти никогда не так.

• class_weight="balanced" перевзвешивает классы обратно их частоте.
• Порог подбирается по валидации под нужный recall или под максимум F1 — но никогда по тесту.
• После перевзвешивания вероятности перестают быть калиброванными: если нужны честные вероятности, калибруйте отдельно.