Вычислительные системы ML

Что разбирают и где

Тайм-коды записи, разобранные по темам атласа: под главой стоят темы, которые в ней названы, — из лекции можно уйти в текстовый разбор и вернуться.

Смотреть запись · Вычислительные системы ML

Нажатие на тайм-код перематывает запись, не перезагружая страницу. Открыть на YouTube ↗

1. 0:05Введение в вычислительные контуры
2. 1:22Метрики производительности: Latency и Throughput
3. 4:13Гетерогенные вычислительные задачи
4. 5:09Практическое упражнение с паспортным контролем
5. 19:27Системы управления кластерами
6. 20:19MapReduce архитектураMapReduce
7. 20:51Очереди задач для вычисленийArrays, Lists, Stacks and Queues
8. 22:00Оркестраторы и KubernetesKubernetes
9. 23:35Serverless Computing
10. 25:31Сравнение подходов управления ресурсами
11. 26:55SLURM для суперкомпьютеров
12. 28:32ClearML для MLOpsExperiment TrackingMLOps Maturity
13. 30:59Запускатели регулярных задач
14. 32:07Airflow для пайплайновML Pipelines
15. 35:36Железо для ML вычислений
16. 36:44Архитектура фон Неймана
17. 44:26Принцип локальности данных
18. 47:45Data Flow в PyTorch
19. 51:53Таксономия Флинна
20. 53:58MISD и SIMD архитектуры
21. 1:03:52Сравнение CPU и GPUGPU Architecture
22. 1:07:14Эволюция GPU вычисленийGPU Architecture
23. 1:10:28Экосистема NVIDIA
24. 1:17:27NVLink технология
25. 1:21:07Покупка vs аренда GPUGPU Architecture
26. 1:23:50Провайдеры GPU арендыGPU Architecture
27. 1:27:31Перерыв (11.0 мин)
28. 1:29:06Перерыв
29. 1:40:07Практика: базовый запуск на GPUGPU Architecture
30. 1:47:40Оптимизация pin-memoryOptimization
31. 2:03:06Distributed Data Parallel (DDP)
32. 2:17:19Настройка DDP сэмплеров
33. 2:27:12Mixed Precision обучениеMixed Precision
34. 2:28:11Fully Sharded Data Parallelism
35. 2:33:10BFloat16 точность вычисленийPrecision
36. 2:41:45Lightning для упрощения DDP
37. 2:51:53FSDP в Lightning
38. 2:53:18Мульти-GPU обучение в ноутбуках