Log-normal Distribution

Величина, логарифм которой нормален. Возникает там, где эффекты перемножаются, а не складываются.

lo g X \sim N (μ, σ^{2})

Что означает каждый компонент

$lo g X$ логарифм величины — именно он распределён нормально, а не сама величина
$N (μ, σ^{2})$ среднее логарифма и его разброс. Среднее самой величины равно e^(μ+σ²/2) и всегда больше медианы e^μ

Ключевые тезисы

Типичные примеры: доходы, длительности сессий, размеры файлов, цены.
Среднее заметно больше медианы — отчёт по среднему вводит в заблуждение.
Практика: логарифмировать целевую переменную и обучаться на ней.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Откуда берётся

Мультипликативный аналог ЦПТ.

Если величина формируется как произведение множества независимых случайных множителей, её логарифм — сумма, и по ЦПТ он нормален. Так рост доходов, цен и размеров файлов естественно приводит к логнормальному распределению.

E [X] = e^{μ + σ^{2} /2}, median (X) = e^{μ}

Обозначения

$E [\cdot]$ математическое ожидание — среднее по распределению
$σ$ стандартное отклонение — разброс величины
$μ$ среднее значение
$exp$ экспонента

Среднее всегда больше медианы — и тем сильнее, чем больше σ

Работа с логнормальной целью

Как обучать и как возвращаться к исходной шкале.

y_log = np.log1p(y)
model.fit(X_train, y_log)
pred = np.expm1(model.predict(X_test))     # это медиана, не среднее
# Поправка Дюана, если нужно именно среднее:
resid = y_log_train - model.predict(X_train)
smearing = np.mean(np.exp(resid))
pred_mean = np.expm1(model.predict(X_test)) * smearing

На практике

Метрику тоже считайте осознанно: RMSLE штрафует относительную ошибку и согласуется с логарифмическим обучением, а RMSE на исходной шкале будет определяться несколькими крупными объектами.

Связанные темы

Распределения и их хвосты · Тяжёлые хвосты и риск

Ключевые тезисы

Подробный разбор

Откуда берётся

Работа с логнормальной целью

Связанные темы

Power Law95%

Heavy Tails95%

Normal Distribution80%

Poisson Distribution80%

Exponential Distribution80%

Binomial & Bernoulli80%

Beta Distribution80%

Probability Distribution80%

Probability80%

Extreme Value Theory75%

Complex Systems75%

Self-similarity75%

Scale-free Networks75%

Outliers75%

MAPE75%