Слой учит поправку к своему входу, а не всё преобразование: короткий путь для через десятки слоёв.
- истинное значение целевой переменной
- объект: вектор признаков
Ключевые тезисы
- Без обходных связей глубокая сеть учится хуже мелкой: затухает, и ранние слои почти не обновляются.
- суммы даёт единицу в обход блока — доходит до первых слоёв неослабленным.
- Комбинация + сделала возможными сети из сотен слоёв: ResNet, , диффузионные U-Net.
Подробный разбор
в обратном проходе — произведение всех слоёв. Если типичный множитель меньше единицы, произведение из тридцати таких множителей стремится к нулю: до первых слоёв не доходит сигнал, и они фактически не обучаются. Простое добавление слоёв в такой сети ухудшает результат — это деградация, а не .
- истинное значение целевой переменной
- объект: вектор признаков
- частная производная — чувствительность к одному аргументу
- Блок учит поправку к входу: если поправка не нужна, достаточно занулить F — и слой становится тождественным.
- Поэтому глубокая сеть по построению не хуже мелкой: лишние блоки могут просто ничего не делать.
- Связка « + » держит масштаб активаций и делает возможными сотни слоёв.
В тот же приём: каждый подблок записан как . Именно это, а не само по себе, позволяет складывать десятки слоёв без затухания .
Видеолекции
Тайм-кода именно на эту тему в записях нет. Но глава «Глубокое обучение» разобрана в курсах целиком — с той оговоркой, что место в записи придётся искать самому.
Тема встречается в тестах по направлениям — ошибки приведут обратно на эту страницу.
Глава «Глубокое обучение» последний раз правилась . Нашли ошибку — напишите.