Чему вы научитесь
- Понимать предпосылки появления распределённых систем и эволюцию от DWH к Data Lake.
- Объяснять архитектуру Hadoop и роль каждого компонента: HDFS, YARN, MapReduce.
- Описывать принципы работы HDFS — распределённого хранения с репликацией и отказоустойчивостью.
- Анализировать механизмы управления ресурсами в YARN и жизненный цикл приложений.
- Понимать модель MapReduce и её применение для параллельной обработки данных.
- Использовать HiveQL для создания таблиц и выполнения аналитических запросов в Hive.
- Различать управляемые и внешние таблицы, понимать принципы партицирования и кластеризации.
- Оценивать преимущества и ограничения классических инструментов экосистемы Hadoop.
- Определять место Spark в современном ландшафте Big Data и его отличие от MapReduce.
- Понимать внутреннее устройство формата ORC: индексацию, фильтры Блума и их роль в оптимизации запросов.
О курсе
Погрузитесь в мир больших данных: от основ Hadoop и HDFS до продвинутой оптимизации запросов с помощью формата ORC.
Курс проведёт вас через всю экосистему Hadoop — от распределённого хранения (HDFS) и управления ресурсами (YARN) до модели обработки MapReduce и её эволюции в Apache Spark. Вы узнаете, как Hive превращает сложные MapReduce-задачи в простые SQL-запросы, а главное — как формат ORC с его колоночным хранением, встроенными индексами и фильтрами Блума ускоряет работу с данными в десятки раз.
Для кого этот курс
Начинающие инженеры данных (Data Engineers) — хотите понять, как устроена экосистема Big Data с нуля.
Аналитики данных (Data Analysts) — работаете с большими данными через Hive и хотите ускорять свои запросы.
Разработчики (Backend, Python, Java) — планируете перейти в сферу обработки больших данных.
Студенты и выпускники IT-специальностей — хотите получить конкурентное преимущество на рынке.
Технические менеджеры — хотите понимать, на каких технологиях строится инфраструктура данных в компании.
Все, кто работает с Data Lake — и хотите превратить его из «болота» в структурированное хранилище.
Начальные требования
-
Базовое понимание SQL (SELECT, WHERE, GROUP BY) — будет достаточно.
-
Общее представление о работе с файлами и данных (что такое CSV, JSON) — приветствуется.
-
Опыт программирования не требуется, но полезно иметь базовые навыки работы с командной строкой (терминалом).
-
Знание Python или Java — не обязательно, но упростит понимание примеров с Spark.
20