Модель вычислений, в которой задача разбивается на независимую обработку кусков и последующую агрегацию. Основа, из которой вырос весь современный распределённый счёт.
Ключевые тезисы
- обрабатывает записи независимо, reduce агрегирует по ключу — между ними стоит дорогая пересылка данных.
- Отказ узла обрабатывается перезапуском задачи, а не откатом всего расчёта.
- сохранил модель, но убрал запись промежуточного результата на диск между стадиями.
Видеолекции
Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.
Кому эта тема нужна
Спрашивают на собеседовании: Arenadata — Платформа данных.
Проверить себя
Проверить себя: SQL и инженерия данныхТема встречается в тесте по направлениям — ошибки приведут обратно на эту страницу.
Глава «Инженерия данных» последний раз правилась . Нашли ошибку — напишите.