Архитектура, в которой на каждый активируется лишь часть параметров: большая ёмкость при умеренной стоимости вычислений.
Ключевые тезисы
- Router выбирает k экспертов из N; активными оказываются единицы процентов параметров.
- Балансировка загрузки экспертов — отдельная задача со своим слагаемым в .
- Память нужна под все параметры, поэтому выигрыш именно в вычислениях, а не в объёме модели.
Какую задачу решает
Качество растёт с числом параметров, но вместе с ним растёт и стоимость каждого : в плотной сети любой вход проходит через все веса. разрывает эту связь — модель может иметь триллион параметров, но использовать на каждом токене лишь малую их часть.
Feed-forward слой заменяется набором экспертов — параллельных полносвязных сетей — и маленьким маршрутизатором, который для каждого выбирает 1–2 из них. Общий объём знаний определяется всеми экспертами, а стоимость шага — только выбранными. Это разменивает дефицитные вычисления на относительно дешёвую память.
Модель на 8 экспертов по 7 млрд параметров с top-2 маршрутизацией: общий размер около 47 млрд (эксперты плюс общие слои), а активных на — примерно 13 млрд. Значит, в память нужно загрузить все 47 млрд, а по скорости она ведёт себя как модель на 13 млрд. Сравнивать её с плотной 13-миллиардной честно по и с 47-миллиардной — по требованиям к VRAM. Именно поэтому любят провайдеры API (вычисления дороже памяти) и не любят на одиночной видеокарте.
Подробный разбор
- истинное значение целевой переменной
- объект: вектор признаков
- номер или количество: индекс шага, число соседей, кластеров или позиций
- суммирование по всем перечисленным элементам
- При N = 64 и k = 2 активны около 3% экспертных параметров на каждый .
- Балансировка загрузки нужна, иначе router схлопывается на нескольких «любимых» экспертах.
- Память под все параметры всё равно требуется — экономятся вычисления, а не VRAM.
- MoE-модель с 100B параметров может считать как плотная на 15B — но требует памяти как 100B.
- Распределение экспертов по узлам добавляет сетевой обмен на каждом слое.
- Качество при равных активных параметрах обычно выше, чем у плотной модели, за счёт большей ёмкости.
Где применяется
- Mixtral, DeepSeek, Switch : сотни миллиардов параметров при стоимости шага как у модели в разы меньше.
- Мультиязычные и мультизадачные моделиРазные эксперты естественно специализируются на разных языках и доменах.
- Отдельные эксперты под текст и под изображение внутри одной модели.
Плюсы, минусы и альтернативы
Плюсы
- Разрывает связь между числом параметров и стоимостью .
- При равных вычислениях даёт заметно лучшее качество, чем плотная модель.
- Эксперты специализируются, что полезно на разнородных данных.
- Обучение дешевле, чем у плотной модели того же общего размера.
Минусы
- Память нужна под все параметры сразу, даже если работает малая часть.
- Маршрутизация капризна: без балансировки часть экспертов не обучается вовсе.
- Сложный распределённый : эксперты живут на разных устройствах, растут от коммуникации.
- плавает по экспертам, что усложняет утилизацию .
- сложнее, чем у плотной модели: маршрутизатор тоже нужно адаптировать.
Брать, если
- Обучаете большую модель и уперлись в бюджет вычислений, а не памяти.
- Данные разнородны, и специализация экспертов даст реальный выигрыш.
Не брать, если
- Ограничена память — плотная модель того же качества займёт меньше.
- Модель небольшая: накладные расходы на маршрутизацию съедят выигрыш.
- Нужен простой предсказуемый прод: усложняет всё — от шардирования до профилирования.
Чем заменяют
Видеолекции
Тайм-кода именно на эту тему в записях нет. Но глава «Глубокое обучение» разобрана в курсах целиком — с той оговоркой, что место в записи придётся искать самому.
Связанные темы
Эффективность моделей
Transfer Learning80%
Перенос обучения · Глубокое обучениеИспользование модели, обученной на большой выборке, для задачи с малым числом примеров. Главный практический приём современного глубокого обучения.
Distillation80%
Дистилляция · Генеративный ИИОбучение маленькой модели воспроизводить поведение большой: кратное снижение стоимости при небольшой потере качества.
LoRA80%
LoRA · Генеративный ИИОбучение низкоранговых добавок к весам вместо полного дообучения модели.
GPU Inference80%
GPU-инференс · Системный дизайн ML-сервисовКак выжать из видеокарты пропускную способность и не переплачивать.
Cost Model80%
Экономика сервиса · Системный дизайн ML-сервисовСтоимость одного предсказания и точка, где модель перестаёт окупаться.
Всё, что названо в описании, разобрано здесь же или в соседней теме — переходы под каждым определением.
Эксперт
Обычный feed-forward блок. Их десятки или сотни, но на каждом работают единицы.
Разбор ниже: Маршрутизация и разреженностьМаршрутизатор (gating)
Маленькая обучаемая сеть, выбирающая top-k экспертов для по его представлению.
Разбор ниже: Маршрутизация и разреженностьTop-k routing
Обычно или : компромисс между качеством и стоимостью шага.
Разбор ниже: Маршрутизация и разреженностьБалансировка нагрузки
Дополнительный , не дающий маршрутизатору отправлять всё в пару любимых экспертов.
Разбор ниже: Практические следствияАктивные параметры
Те, что реально участвуют в вычислении . Именно они определяют стоимость, а не общий размер модели.
Разбор ниже: Практические следствияПрофильная компетенция для ролей: NLP-инженер, LLM-инженер, Исследователь, Инженер речи.
Спрашивают на собеседовании: YADRO — Инфраструктура обучения.
Тема встречается в тесте по направлениям — ошибки приведут обратно на эту страницу.
Глава «Глубокое обучение» последний раз правилась . Нашли ошибку — напишите.