Activation functions

Нелинейности между слоями, без которых сеть не сложнее линейной модели.

Ключевые тезисы

— дефолт: дёшева и не насыщается, но может «умирать» на отрицательных входах.
и SiLU — стандарт в , дают более гладкий .
Sigmoid и tanh оставляют для выходов и вентилей рекуррентных ячеек.

Какую задачу решает

— единственный источник нелинейности в сети. Без неё любая глубина сворачивается в одно линейное преобразование, поэтому вопрос не «нужна ли активация», а «какая».

Выбор решает три задачи сразу: сделать сеть выразительной, не сломать поток при обратном проходе и дать выходу нужный диапазон. Первые две решает скрытый слой, третью — выходной, и это принципиально разные решения: в скрытых слоях правит семейство ReLU, на выходе активация жёстко диктуется задачей.

Как поймать мёртвые нейроны

Прогоните валидационный и посчитайте для каждого нейрона скрытого слоя долю примеров, на которых его выход равен нулю. Здоровая картина — 30–60%. Если у трети нейронов эта доля равна 100%, они мертвы: их вклад в предсказание нулевой, и до них не доходит. Обычные причины — слишком большая на старте или большой отрицательный bias. Лечится снижением learning rate, тёплым разогревом или заменой на Leaky с наклоном 0.01.

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

Функция	Формула	Плюсы	Минусы
	$max (0, x)$	быстрая, не насыщается справа	«мёртвые» нейроны
LeakyReLU	$max (α x, x)$	нет мёртвых нейронов	лишний
	$x Φ (x)$	гладкая, стандарт в	дороже считать
Sigmoid	$1/ (1 + e^{- x})$	выход — вероятность	насыщение, ≈ 0
tanh	$tanh x$	центрирована в нуле	насыщение

f(-2)0.000

f(2)2.000

f′(-4)0.0000

f′(4)1.0000

Функция активации

Посмотрите на производную у краёв: именно она определяет, дойдёт ли градиент до ранних слоёв

Регрессия — без (линейный выход).
Бинарная классификация — sigmoid (или логиты + BCEWithLogits).
Многоклассовая — по классам.
Multilabel — sigmoid независимо по каждому классу, не .

softmax (z)_{i} = \frac{e ^{z_{i}}}{\sum _{j} e ^{z_{j}}}

Обозначения

$\sum$ суммирование по всем перечисленным элементам
$exp$ экспонента

превращает логиты в распределение: значения положительны и суммируются в единицу

Где применяется

Скрытые слои по умолчанию; GELU или SiLU в и современных свёрточных сетях; Leaky ReLU, если мёртвые нейроны реально мешают.
Выход бинарной классификации плюс бинарная . В коде обычно объединяют в один устойчивый оператор.
Выход многоклассовой задачи плюс . Если классы не взаимоисключающие — сигмоида на каждый класс отдельно.
Выход регрессииНикакой , если значение любое; ReLU или softplus, если оно обязано быть положительным; tanh, если ограничено отрезком.

Плюсы, минусы и альтернативы

Плюсы

считается за одно сравнение — дешевле любой альтернативы.
Отсутствие насыщения на положительной части сняло проблему затухающего и открыло глубокие сети.
Разреженность: часть нейронов выключается, что работает как мягкая .
Гладкие варианты (, SiLU) дают небольшой, но стабильный выигрыш почти без дополнительной стоимости.

Минусы

Мёртвые нейроны у — часть сети может замолчать навсегда.
Выход не центрирован в нуле, что чуть замедляет сходимость.
и tanh насыщаются и почти не годятся для скрытых слоёв глубокой сети.
и Swish дороже по вычислениям — на больших моделях разница заметна.
Неверная на выходе (например, softmax при многометочной задаче) молча ломает обучение — ошибка выглядит как «модель не учится».

Брать, если

Скрытые слои свёрточной сети или MLP — , без раздумий.
— или SiLU, это де-факто стандарт.
Есть подозрение на мёртвые нейроны (доля нулевых активаций выше 60–70%) — Leaky .

Не брать, если

и tanh в глубоких скрытых слоях — почти гарантированное затухание .
там, где объект может принадлежать нескольким классам сразу.
Любая ограничивающая на выходе регрессии с неограниченной целевой переменной.

Чем заменяют

Normalization LayersактуальноСлои нормализации · Глубокое обучениеПроблема не в форме , а в разъезжающемся масштабе — решает это напрямую.Loss functionsактуальноФункции потерь · Глубокое обучениеВыходная и выбираются вместе: пара softmax + неразделима.

Видеолекции

Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.

2:14:48Vector Neurons: эквивариантные линейные слои и активацииКомпьютерное зрение 3D · Лекция «Обработка облаков точек» · 2 ч 35 мин 34:36Требования для активации AMPПрикладной MLOps · Лекция «Ускорение вычислений и инференс» · 2 ч 52 мин 1:57:10Архитектура SIREN: синусы вместо ReLUКомпьютерное зрение 3D · Лекция «Neural Radiance Fields (NeRF)» · 2 ч 51 мин

Связанные темы

Нейросеть по кирпичикам

Кому эта тема нужна

Профильная компетенция для ролей: ML Engineer, NLP-инженер, CV-инженер, Исследователь, Инженер речи.

Усиливает профиль: Data Scientist, Инженер рекомендаций.

Добавить в учебную программу

Проверить себя

Тема встречается в тесте по направлениям — ошибки приведут обратно на эту страницу.

Тест: Глубокое обучение24

Следующий шагПроверить себя: Глубокое обучениеТема встречается в этом тесте 1 раз. Ошибка приведёт обратно на эту страницу — с объяснением, что именно не сошлось.Перейти →

Глава «Глубокое обучение» последний раз правилась 27 августа 2026 г.. Нашли ошибку — напишите.

Ключевые тезисы

Какую задачу решает

Подробный разбор

Где применяется

Плюсы, минусы и альтернативы

Плюсы

Минусы

Брать, если

Не брать, если

Чем заменяют

Видеолекции

Связанные темы

Perceptron80%

MLP80%

Loss functions80%

Backpropagation80%

Optimizers80%

Logistic Regression80%

ReLU

Мёртвые нейроны

Сигмоида

Softmax

GELU / SiLU

Насыщение

Activation functions

Ключевые тезисы

Какую задачу решает

Подробный разбор

1Кого выбиратьПрактическое сравнение основных функций.

2Активация выходного слояЗдесь выбор диктуется задачей, а не модой.

Где применяется

Плюсы, минусы и альтернативы

Плюсы

Минусы

Брать, если

Не брать, если

Чем заменяют

Видеолекции

Связанные темы

Perceptron80%

MLP80%

Loss functions80%

Backpropagation80%

Optimizers80%

Logistic Regression80%

Ключевые понятия6 определений из текста — каждое со ссылкой на разбор

ReLU

Мёртвые нейроны

Сигмоида

Softmax

GELU / SiLU

Насыщение