Linear Regression

Предсказывает число как взвешенную сумму . Самый интерпретируемый и основа для более сложных моделей.

y^= w_{0} + w_{1} x_{1} + \dots + w_{d} x_{d}

Что означает каждый компонент

$y^$ предсказание модели — то число, которое она выдаёт на выходе
$w_{0}$ свободный член: значение предсказания, когда все признаки равны нулю
$w_{j} x_{j}$ вклад j-го признака: вес умножается на значение признака и складывается с остальными

Предсказание — взвешенная сумма признаков плюс сдвиг

Ключевые тезисы

Обучается методом наименьших квадратов: аналитически или спуском.
Ridge () и Lasso (L1) стабилизируют коэффициенты при мультиколлинеарности.
Коэффициент читается как «эффект при прочих равных».

Какую задачу решает

предсказывает число — цену, спрос, время доставки — предполагая, что оно складывается из вкладов с постоянными весами. Это самое простое предположение, какое можно сделать, и именно поэтому модель остаётся точкой отсчёта: если она работает, сложная модель должна доказать, что даёт заметно больше.

Ценность не только в предсказании. Коэффициент при признаке читается напрямую: «плюс один квадратный метр — плюс 120 тысяч к цене, при прочих равных». Ни , ни такого ответа не дают. Поэтому в задачах, где нужно объяснить решение регулятору или бизнесу, линейная модель часто выигрывает даже при чуть худшей метрике.

Как мультиколлинеарность ломает интерпретацию

В данных о квартирах есть «площадь в м²» и «площадь в футах²» — по сути один . МНК может выдать $w_{1} = + 1000$ и $w_{2} = - 92$ : сумма вкладов верна, предсказание точное, а по отдельности коэффициенты бессмысленны и на новых данных прыгнут. Диагностика: посчитайте VIF (значения выше 10 подозрительны) или просто корреляционную . Лечение: убрать дубль, объединить признаки или взять Ridge, который распределит вклад между коррелированными признаками поровну.

Подробный разбор

4 подтемы — объяснения, формулы, примеры и интерактивные графики.

y^= w_{0} + w_{1} x_{1} + \dots + w_{d} x_{d} = w^{⊤} x

Обозначения

$y^$ предсказание модели
$y$ истинное значение целевой переменной
$x$ объект: вектор признаков
$w$ веса модели — то, что подбирается при обучении
$x^{⊤}$ транспонирование: строка вместо столбца

Один вес на плюс свободный член

Для одного это прямая, для двух — плоскость, для $d$ — гиперплоскость. Вес $w_{j}$ читается так: «при увеличении $x_{j}$ на единицу и неизменных остальных предсказание меняется на $w_{j}$ ».

Зарплата по стажу

Модель $y^= 40000 + 8000 \cdot стаж + 300 \cdot часы$ . Каждый год стажа добавляет 8 000 при том же числе часов; каждый час — 300.

L (w) = \frac{1}{n} i = 1 \sum n (y_{i} - w^{⊤} x_{i})^{2} ⟶ w min

Обозначения

$y$ истинное значение целевой переменной
$x$ объект: вектор признаков
$w$ веса модели — то, что подбирается при обучении
$n$ число объектов в выборке
$L$ функция потерь — то, что минимизируется при обучении
$\sum$ суммирование по всем перечисленным элементам
$x^{⊤}$ транспонирование: строка вместо столбца

w^{*} = (X^{⊤} X)^{- 1} X^{⊤} y

Обозначения

$y$ истинное значение целевой переменной
$w$ веса модели — то, что подбирается при обучении
$x^{⊤}$ транспонирование: строка вместо столбца

Нормальное уравнение: точное решение за один шаг

Аналитическое решение требует обращения $d \times d$ — это $O (d^{3})$ ; при $d$ в тысячи становится дорого, при вырожденной $X^{⊤} X$ — невозможно.
спуск масштабируется на любые $n$ и $d$ и работает потоково, но требует настройки шага.
Ridge исправляет вырожденность: $w^{*} = (X^{⊤} X + λ I)^{- 1} X^{⊤} y$ — всегда обратима.

шаг обучения η0.20

текущий x1.767

f(x)1.054

градиент-0.467

статусидёт

Скорость обучения η0.20Число шагов6Старт x₀-3.0

Функция потерь MSE выпукла: спуск из любой точки приходит в один и тот же минимум — если шаг не слишком велик

Линейность связи: проверяется графиком остатков против предсказаний — там не должно быть структуры.
Гомоскедастичность: разброс остатков одинаков по всему диапазону; «воронка» означает, что нужно логарифмировать цель.
Отсутствие мультиколлинеарности: VIF > 10 говорит, что коэффициенты нестабильны и интерпретировать их нельзя.
Независимость наблюдений: для временных рядов почти всегда нарушена.

На практике

Даже при нарушенных предпосылках предсказания могут быть неплохими — страдает именно интерпретация коэффициентов и их .

L_{ridge} = ∥ y - X w ∥^{2} + λ ∥ w ∥_{2}^{2}, L_{lasso} = ∥ y - X w ∥^{2} + λ ∥ w ∥_{1}

Обозначения

$λ$ сила регуляризации
$y$ истинное значение целевой переменной
$w$ веса модели — то, что подбирается при обучении
$L$ функция потерь — то, что минимизируется при обучении
$∥ \cdot ∥$ норма — длина вектора

сжимает все коэффициенты пропорционально и хорошо работает при коррелированных . L1 благодаря «углам» своего шара обнуляет часть коэффициентов и тем самым отбирает признаки. ElasticNet комбинирует оба штрафа.

λ1.0e-4

‖w‖₂4.054

нулевых коэффициентов0 из 9

Сила регуляризации log₁₀λ-4.00

Тип

Переключите L1/L2 и увеличивайте λ: посмотрите, как у Lasso коэффициенты обнуляются, а у Ridge просто сжимаются

Где применяется

Первая модель на любой регрессионной задаче: даёт число, с которым сравнивают всё остальное.
Объяснимые решенияСкоринг, ценообразование, оценка рисков — там, где нужно предъявить формулу.
Анализ влиянияОценка вклада фактора при контроле остальных: маркетинговые каналы, эффекты изменений.
Прогноз с малой выборкойНесколько десятков наблюдений — сложная модель просто переобучится.
Компонент внутри других моделейЛинейные головы поверх и линейные листья в некоторых деревьях.

Плюсы, минусы и альтернативы

Плюсы

Полная интерпретируемость: коэффициент читается как эффект .
Обучение мгновенно, есть аналитическое решение.
Хорошо работает при малом числе наблюдений.
Есть строгая статистическая теория: , тесты значимости.
Никаких сюрпризов в проде — поведение полностью предсказуемо.

Минусы

Ловит только линейные зависимости; нелинейность нужно вносить руками через .
Крайне чувствительна к выбросам: квадрат ошибки даёт им огромный вес.
Мультиколлинеарность разрушает интерпретацию коэффициентов.
Взаимодействия не улавливаются автоматически.
Экстраполирует линейно за пределами обучающих данных — иногда до абсурда.

Брать, если

Нужна интерпретируемая — всегда начинайте отсюда.
Зависимость близка к линейной или её можно линеаризовать преобразованием.
Наблюдений мало относительно числа .
Нужно объяснить вклад каждого фактора.

Не брать, если

Зависимость явно нелинейна и взаимодействий много — берите .
В данных много , и убрать их нельзя — используйте Huber или квантильную регрессию.
больше, чем наблюдений, без — решение будет неустойчивым.

Чем заменяют

Gradient BoostingактуальноГрадиентный бустинг · Классическое машинное обучениеЗависимость нелинейна и интерпретируемость не критична — обычно заметный скачок качества.RegularizationактуальноРегуляризация · Оптимизация обучения много и модель неустойчива: Ridge и Lasso решают это напрямую.Logistic RegressionактуальноЛогистическая регрессия · Классическое машинное обучениеЦелевая переменная не число, а класс.

Тема также относится к главам:Интерпретируемость моделейПрозрачные модели

Связанные темы

Качество регрессии · Интерпретируемая статистика

Кому эта тема нужна

Профильная компетенция для ролей: Data Scientist, Аналитик данных.

Спрашивают на собеседовании: X5 Tech — Цены и промо, Циан — Оценка недвижимости, Газпром нефть — Геология и добыча, СИБУР — Качество и режимы производства, Северсталь — Оптимизация производства.

Добавить в учебную программу

Проверить себя

Тема встречается в тесте по направлениям — ошибки приведут обратно на эту страницу.

Тест: Классический ML24

Следующий шагПроверить себя: Классический MLТема встречается в этом тесте 1 раз. Ошибка приведёт обратно на эту страницу — с объяснением, что именно не сошлось.Перейти →

Глава «Классическое машинное обучение» последний раз правилась 27 августа 2026 г.. Нашли ошибку — напишите.

Ключевые тезисы

Какую задачу решает

Подробный разбор

Где применяется

Плюсы, минусы и альтернативы

Плюсы

Минусы

Брать, если

Не брать, если

Чем заменяют

Связанные темы

MAE80%

MSE80%

RMSE80%

MAPE80%

SMAPE80%

R²80%

Adjusted R²80%

Loss functions80%

Correlation75%

Generalized Additive Models75%

Partial Dependence75%

Feature selection75%

Data Visualization75%

МНК (метод наименьших квадратов)

Коэффициенты $w$

Остатки

Мультиколлинеарность

Гребневая регрессия (Ridge)

Lasso

Linear Regression

Ключевые тезисы

Какую задачу решает

Подробный разбор

1Модель и её геометрияПредсказание как взвешенная сумма признаков.

2Обучение: аналитика против градиентаДва способа получить веса и когда какой применим.

3Предпосылки и диагностикаЧто должно быть верно, чтобы коэффициентам можно было верить.

4Ridge, Lasso и ElasticNetТри способа не дать коэффициентам разъехаться.

Где применяется

Плюсы, минусы и альтернативы

Плюсы

Минусы

Брать, если

Не брать, если

Чем заменяют

Связанные темы

MAE80%

MSE80%

RMSE80%

MAPE80%

SMAPE80%

R²80%

Adjusted R²80%

Loss functions80%

Correlation75%

Generalized Additive Models75%

Partial Dependence75%

Feature selection75%

Data Visualization75%

Ключевые понятия6 определений из текста — каждое со ссылкой на разбор

МНК (метод наименьших квадратов)

Коэффициенты w

Остатки

Мультиколлинеарность

Гребневая регрессия (Ridge)

Lasso

Коэффициенты $w$