Чему вы научитесь
- Применять архитектуру Data Lakehouse для решения задач, где традиционные DWH и Data Lake неэффективны.
- Строить и управлять таблицами в Apache Iceberg, используя современные каталоги метаданных.
- Использовать Time Travel для аудита, восстановления данных и анализа исторических изменений.
- Реализовывать эволюцию схемы данных без простоев и нарушения обратной совместимости.
- Проектировать эффективное партицирование для оптимизации производительности запросов.
- Анализировать и оптимизировать работу с метаданными, используя Puffin-файлы и системные процедуры.
- Сравнивать Apache Iceberg с альтернативами (Delta Lake, Apache Hudi) и выбирать оптимальный инструмент под конкретную задачу.
О курсе
Этот курс проведет вас через эволюцию архитектур хранения данных: от классических DWH и Data Lake до современного подхода Data Lakehouse. Вы научитесь использовать Apache Iceberg — передовую технологию, которая превращает озеро данных в полноценное хранилище с поддержкой ACID-транзакций, Time Travel и эволюции схемы. Курс идеально подходит для инженеров и аналитиков, которые хотят строить надежные и масштабируемые решения для Big Data.
Для кого этот курс
Data-инженеры, которые хотят модернизировать существующие пайплайны обработки данных и перейти к более надежным и гибким решениям.
Архитекторы данных, ищущие эффективные и масштабируемые подходы для построения гибридных хранилищ, способных работать как с аналитическими, так и с транзакционными нагрузками.
Аналитики больших данных, стремящиеся глубже понять инфраструктуру, на которой строятся их отчеты и дашборды, чтобы повысить их качество и производительность.
Студенты и начинающие специалисты, которые хотят освоить востребованную технологию и получить конкурентное преимущество при трудоустройстве в области Data Engineering.
Начальные требования
-
Базовое понимание концепций хранилищ данных (DWH) и озер данных (Data Lake).
-
Знакомство с SQL на уровне написания сложных запросов.
-
Понимание основ экосистемы Big Data (будет плюсом знание Apache Spark).
-
Наличие ноутбука с возможностью установки Docker для выполнения практических заданий.
Преподаватели курса
19
Что вы получите
- Глубокие, структурированные знания о современной архитектуре Data Lakehouse и ее преимуществах.
- Практические навыки работы с Apache Iceberg, готовые к использованию в реальных проектах.
- Возможность сразу применить полученные знания для оптимизации и модернизации своих рабочих пайплайнов.
- Уверенность в выборе технологий для хранения и обработки больших данных.
Нагрузка
4-5 часов в неделю