Поиск
Оптимизация обучения

Mixed Precision

Смешанная точность

актуальноТекущий рабочий стандарт

Обучение в fp16 или bf16 при накоплении в fp32: двукратная экономия памяти и заметное ускорение.

Ключевые тезисы

  • fp16 требует масштабирования потерь, чтобы малые градиенты не обнулялись; bf16 — нет.
  • Мастер-копия весов и накопление градиентов остаются в fp32.
  • На современных ускорителях bf16 — практический дефолт для обучения больших моделей.
Тема также относится к главам:Глубокое обучениеОбучение

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

1

fp16 против bf16

Разный компромисс между точностью и диапазоном.

fp16bf16fp32
Бит на мантиссу10723
Диапазон экспонентыузкийкак у fp32полный
Нужен loss scalingданетнет
Где используетсястарые GPUсовременное обучениеэталон

bf16 жертвует точностью мантиссы ради диапазона — и это оказалось правильным выбором для обучения: переполнение опаснее, чем округление.

2

Как включить

И на что смотреть.

scaler = torch.amp.GradScaler()
with torch.autocast(device_type="cuda", dtype=torch.bfloat16):
    loss = model(batch)
scaler.scale(loss).backward()
scaler.unscale_(optimizer)
torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)
scaler.step(optimizer); scaler.update()
  • Экономия памяти около 40–50%, ускорение 1.5–3× на современных ускорителях.
  • Появление NaN обычно означает переполнение в fp16 — переходите на bf16.
  • Нормализации и softmax внутри autocast считаются в fp32 автоматически.

Связанные темы

Стабильность обучения нейросетей

Normalization Layers85%

Слои нормализации · Глубокое обучение

BatchNorm, LayerNorm, RMSNorm: стабилизация распределения активаций, без которой глубокие сети почти не обучаются.

Gradient Clipping85%

Обрезка градиента · Оптимизация обучения

Ограничение нормы градиента перед шагом оптимизатора — простейшая защита от расходимости обучения.

Backpropagation85%

Обратное распространение ошибки · Глубокое обучение

Эффективное вычисление градиентов по всем параметрам сети за один обратный проход с помощью правила цепочки.

Learning Rate Scheduling85%

Расписание скорости обучения · Оптимизация обучения

Изменение шага по ходу обучения: большой в начале для исследования, малый в конце для точной настройки.

Numerical Methods85%

Численные методы · Основы

Компьютер считает приближённо. Понимание точности float, устойчивости и обусловленности спасает от NaN и «необъяснимых» расхождений.

← Gradient Clipping