Выравнивание языковых моделей

Что разбирают и где

Тайм-коды записи, разобранные по темам атласа: под главой стоят темы, которые в ней названы, — из лекции можно уйти в текстовый разбор и вернуться.

Смотреть запись · Выравнивание языковых моделей

Нажатие на тайм-код перематывает запись, не перезагружая страницу. Открыть на YouTube ↗

1. 0:09Введение и план лекции
2. 3:30Этапы обучения LLM: претренинг, instruction tuning, alignmentLLM
3. 4:49Обозначения и принцип работы LLMLLM
4. 9:15Архитектура Transformer и механизм вниманияAttentionTransformers
5. 13:30Альтернативные архитектуры и оптимизации
6. 15:39Обзор пайплайна обучения моделейML Pipelines
7. 18:20Objective function и масштабы данных для претренинга
8. 23:53Next Token Prediction и Multi Token Prediction
9. 26:31Instruction Fine-Tuning (SFT) и его цельFine-tuning
10. 32:32Интерпретация генерации LLM в терминах RLLLM
11. 34:43Проблема учёта человеческих предпочтений
12. 38:03Reward-модель и формализация Bradley-Terry
13. 40:05Формализация LLM как политики в RLPolicy GradientLLM
14. 44:50Ответы на вопросы (LoRA, объёмы данных)LoRA
15. 49:01Обучение reward-модели на парах предпочтений
16. 56:11Objective RLHF с KL-ограничениемRLHF
17. 1:00:50Применение алгоритма PPO для RLHFRLHFPPO
18. 1:05:55Результаты применения PPO в ChatGPTPPO
19. 1:08:40Упрощение пайплайна: алгоритм GRPOML Pipelines
20. 1:14:16Практическая реализация GRPO
21. 1:17:07Асинхронное обучение и генерация данных
22. 1:20:35Сравнение эффективности GRPO и PPOPPO
23. 1:23:34Альтернативные методы: VLM-PPO и branching
24. 1:27:05Direct Preference Optimization (DPO)Optimization
25. 1:34:34Упрощение DPO: алгоритм SIMPO
26. 1:36:40Перерыв
27. 1:51:36Введение в Reinforcement Learning from Verifiable RewardsMDP
28. 1:52:51Reasoning-модели и Chain-of-Thought promptingPrompting
29. 1:55:45Примеры задач с верифицируемыми ответами
30. 2:00:20Обучение reasoning и проблема overthinking
31. 2:03:42Обучение с базовой модели: "Aha moment"
32. 2:09:19Дистилляция reasoning-способностейDistillation
33. 2:12:36Проблемы обучения с GRPO: коллапс энтропииEntropy