Batch size

Число объектов на одно обновление весов: влияет на скорость, память и качество обобщения.

Ключевые тезисы

Большие батчи ускоряют эпоху, но требуют пропорционально большего lr.
Малые батчи дают регуляризующий шум.
Gradient accumulation имитирует большой на ограниченной памяти.

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

Память растёт линейно: всех слоёв хранятся для каждого объекта .
Скорость эпохи растёт: лучше загружается большими .
Число обновлений падает — приходится увеличивать lr.
Обобщение может ухудшиться из-за потери полезного шума.

# Эффективный батч 512 при памяти на 64
accum = 8
for i, batch in enumerate(loader):
    loss = model(batch) / accum
    loss.backward()
    if (i + 1) % accum == 0:
        optimizer.step()
        optimizer.zero_grad()

Gradient accumulation: имитируем большой батч без дополнительной памяти

Линейное правило: увеличили в $k$ раз — увеличьте lr в $k$ раз (работает до умеренных размеров).
Корневое правило: $η \propto k$ — часто устойчивее для адаптивных .
При больших батчах обязателен warmup, иначе первые шаги разрушают инициализацию.
После некоторого прирост скорости прекращается — это точка «критического батча».

Тема также относится к главам:Глубокое обучениеОбучение Вычислительная инфраструктураЭффективность

Видеолекции

Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.

17:11Влияние размера батча на обучениеПрикладной MLOps · Лекция «Ускорение вычислений и инференс» · 2 ч 52 мин 2:30Модели обработки данных: батч и Event BasedБольшие данные · Лекция «Spark Streaming обработка» · 1 ч 6 мин

Связанные темы

Оптимизаторы · Обучение на GPU

Optimization85%

Оптимизация · Основы

Поиск параметров, минимизирующих функцию потерь. Свойства задачи — выпуклость, гладкость, обусловленность — определяют, насколько это просто.

Optimizers85%

Оптимизаторы · Глубокое обучение

Правила обновления весов по градиенту: от чистого SGD до адаптивных методов.

Gradient Descent85%

Градиентный спуск · Оптимизация обучения

Итеративный шаг против градиента функции потерь — базовый алгоритм обучения.

SGD85%

Стохастический градиентный спуск · Оптимизация обучения

Градиент оценивается по мини-батчу: быстрее, шумнее и, как оказалось, полезнее для обобщения.

Momentum85%

Момент · Оптимизация обучения

Накопление экспоненциального среднего градиентов — движение по инерции сквозь колебания.

Adam85%

Adam · Оптимизация обучения

Адаптивный метод: хранит средние градиента и его квадрата, подбирая шаг для каждого параметра.

AdamW85%

AdamW · Оптимизация обучения

Adam с корректно отделённым weight decay — регуляризация применяется к весам, а не к градиенту.

RMSProp85%

RMSProp · Оптимизация обучения

Нормирует шаг на скользящее среднее квадратов градиента, выравнивая масштаб обновлений.

Learning Rate Scheduling85%

Расписание скорости обучения · Оптимизация обучения

Изменение шага по ходу обучения: большой в начале для исследования, малый в конце для точной настройки.

GPU Architecture85%

Архитектура GPU · Вычислительная инфраструктура

Тысячи простых ядер, сгруппированных в мультипроцессоры, и иерархия памяти, в которую упирается почти любое ускорение.

AI Accelerators85%

Ускорители: GPU, TPU, NPU · Вычислительная инфраструктура

Чем специализированный чип отличается от универсальной видеокарты и когда эта разница окупается.

GPU in PyTorch85%

GPU в PyTorch · Вычислительная инфраструктура

Как проверить доступность ускорителя, разложить тензоры по устройствам и понять, куда ушла видеопамять.

Distributed Training85%

Распределённое обучение · Вычислительная инфраструктура

Как разложить обучение на несколько GPU: копиями модели по данным, шардами состояния или разрезанием самой модели.

Collective Operations85%

Коллективные операции · Вычислительная инфраструктура

AllReduce, Broadcast, AllGather — примитивы, которыми процессы обучения обмениваются тензорами.

Cluster Networking85%

Сеть кластера · Вычислительная инфраструктура

Топология соединений и скорость обмена, которые определяют, доедет ли обучение до линейного ускорения.

Training Throughput85%

Ускорение обучения · Вычислительная инфраструктура

Что делать, когда число GPU фиксировано: снизить точность, накопить градиент, пересчитать активации, разгрузить загрузчик данных.

Mixed Precision85%

Смешанная точность · Оптимизация обучения

Обучение в fp16 или bf16 при накоплении в fp32: двукратная экономия памяти и заметное ускорение.

Кому эта тема нужна

Спрашивают на собеседовании: YADRO — Инфраструктура обучения.

Добавить в учебную программу

Проверить себя

Тема встречается в тесте по направлениям — ошибки приведут обратно на эту страницу.

Тест: Глубокое обучение24

Тема в работе целиком

Разбор архитектуры, где эта тема — один из кирпичей: требования, развилки, цифры и режимы отказа.

Кейс: Обучение, когда данные не влезают в узел

Следующий шагПроверить себя: Глубокое обучениеТема встречается в этом тесте 2 раза. Ошибка приведёт обратно на эту страницу — с объяснением, что именно не сошлось.Перейти →

Глава «Оптимизация обучения» последний раз правилась 27 августа 2026 г.. Нашли ошибку — напишите.