HDFS and Hadoop — HDFS и экосистема Hadoop

Распределённая файловая система, придуманная под дешёвое железо, которое ломается. Файл режется на блоки, каждый лежит на нескольких узлах.

Ключевые тезисы

Блок большой (128–256 МБ): расчёт на последовательное чтение, а не на случайный доступ.
Репликация втрое — это не только надёжность, но и возможность считать данные там, где они лежат.
хранит метаданные в памяти: миллионы мелких файлов убивают кластер быстрее, чем их суммарный объём.

Видеолекции

Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.

22:50Сравнение вендоров: Cloudera и HortonworksБольшие данные · Лекция «Управление инфраструктурой Hadoop» · 1 ч 22 мин 25:27Типы приложений в YARNБольшие данные · Лекция «Spark Streaming обработка» · 1 ч 6 мин 26:19Проблемы хранения в HadoopБольшие данные · Семинар «Векторные часы» · 1 ч 23 мин 1:28:46Критерии необходимости Hadoop/SparkБольшие данные · Семинар «Планирование и администрирование инфраструктуры» · 1 ч 33 мин 14:26Реализация с флажками для HDFSБольшие данные · Семинар «Spark Streaming завершение» · 40 мин 0:31Введение и демонстрация уязвимостей HDFSБольшие данные · Семинар «Работа с Apache Cassandra» · 1 ч 4 мин

Следующий шагСобрать учебную программуПорядок изучения под роль и уровень: недели, отметка «пройдено» и повторение по расписанию.Перейти →

Глава «Инженерия данных» последний раз правилась 31 августа 2026 г.. Нашли ошибку — напишите.