Курс на Stepik
Обложка курса «DE-практикум: Docker, Spark, Postgres, Airflow, S3. Поток 5» на Stepik
35 000 ₽

DE-практикум: Docker, Spark, Postgres, Airflow, S3. Поток 5 ★ 0.000

Открыть на
STEPIK.ORG

Живой DE-практикум для тех, у кого уже есть рабочий SQL и кто хочет руками пройти путь от локального стенда до DWH, ETL, Airflow, Spark и BI. Поднимаете проект на ноутбуке, раскладываете данные по слоям, пишете трансформации, добавляете проверки качества и собираете итоговую витрину.

Показатель Текущие показатели Рост
Значение 🏆 Рейтинг 3 дн 7 дн 30 дн
Количество учеников на курсе «DE-практикум: Docker, Spark, Postgres, Airflow, S3. Поток 5»Учеников на курсе 0
Сертификаты, выданные на курсе «DE-практикум: Docker, Spark, Postgres, Airflow, S3. Поток 5»Сертификатов выдано 0
Отзывы о курсе «DE-практикум: Docker, Spark, Postgres, Airflow, S3. Поток 5»Отзывов получено 0
Рейтинг курса «DE-практикум: Docker, Spark, Postgres, Airflow, S3. Поток 5»Рейтинг курса 0.000
Уроки в курсе «DE-практикум: Docker, Spark, Postgres, Airflow, S3. Поток 5»Количество уроков 65
Тесты в курсе «DE-практикум: Docker, Spark, Postgres, Airflow, S3. Поток 5»Количество квизов 355
Задачи с кодом в курсе «DE-практикум: Docker, Spark, Postgres, Airflow, S3. Поток 5»Количество задач с кодом 31
Время прохождения курса «DE-практикум: Docker, Spark, Postgres, Airflow, S3. Поток 5»Время прохождения курса —
Стоимость курса «DE-практикум: Docker, Spark, Postgres, Airflow, S3. Поток 5»Стоимость курса 35 000 ₽ —
Обновления курса «DE-практикум: Docker, Spark, Postgres, Airflow, S3. Поток 5»Обновления курса — —
Дата публикации курса «DE-практикум: Docker, Spark, Postgres, Airflow, S3. Поток 5»Дата публикации курса — ———
Последнее обновление курса «DE-практикум: Docker, Spark, Postgres, Airflow, S3. Поток 5»Последнее обновление — ———
Сложность normal — ———

Чему вы научитесь

  • Поднимать локальный стенд: Spark + Postgres + Airflow + JupyterLab + MinIO в Docker
  • Понимать, что за что отвечает в окружении, и разбирать типовые проблемы по логам
  • Организовывать слои RAW / STG / CORE / MARTS на реальном датасете
  • Делать идемпотентные и инкрементальные загрузки
  • Проектировать факты, измерения, event-даты и витрины
  • Писать базовые SQL- и Spark-трансформации для подготовки слоёв
  • Оформлять пайплайн в Airflow DAG: зависимости, ретраи, расписание
  • Делать DQ-проверки: дубли, пустые ключи, расхождения по слоям
  • Собирать финальную витрину и простой BI-дашборд
  • Оформлять результат в Git-репозитории и уверенно рассказывать про свой ETL-проект на собеседовании

О курсе

Живой DE-практикум для тех, у кого уже есть рабочий SQL и кто хочет руками пройти путь от локального стенда до DWH, ETL, Airflow, Spark и BI. Поднимаете проект на ноутбуке, раскладываете данные по слоям, пишете трансформации, добавляете проверки качества и собираете итоговую витрину.

Для кого этот курс

Практикум подойдёт: Аналитикам и BI-специалистам, которые уже пишут SQL и хотят лучше понимать, что происходит до витрины и BI. Junior Data Engineers, которым не хватает цельной практики: локальный стенд, DWH, Airflow, Spark, DQ-проверки и итоговый проект. Тем, кто готовится к DE-собеседованиям и хочет иметь проект, про который можно нормально рассказать: что грузили, какие слои делали, где были проверки, как устроен DAG. Тем, кто устал изучать инструменты по отдельности и хочет собрать их в один понятный процесс.

Начальные требования

Нужна база:

• уверенный SQL: SELECT, JOIN, GROUP BY, агрегаты, CTE;
• понимание таблиц, ключей, фактов, измерений и витрин на уровне идей;
• базовый Python: читать код, править простые функции, не бояться списков, словарей и файлов;
• готовность поставить Docker по инструкции и разбираться с окружением;
• готовность работать руками: запускать, читать логи, исправлять ошибки и задавать вопросы.

Преподаватели курса

Аватар Кузьмин Дмитрий
Кузьмин Дмитрий
Data Engineer
★ 4.9
13 курсов 2 542
→

Как проходит обучение

Вы проходите практикум в своем темпе, без обязательных созвонов и видео-марафонов.

Сначала проходите демо или диагностику и пишете мне в Telegram. После подтверждения получаете доступ к приватному GitHub-репозиторию и инструкции по запуску стенда.

Дальше поднимаете локальное окружение у себя на машине и проходите модули по шагам: SQL, Docker, Postgres, Spark, Airflow, DWH, проверки качества, витрины и BI.

По ходу задаете вопросы в чате. Я помогаю с окружением, логами, ошибками в коде и ключевыми решениями по пайплайну.

Рекомендованный темп — 6-8 часов в неделю.

Что вы получите

  • • цельный проект для портфолио: mini-DWH, сквозной ETL, проверки качества, витрина и BI-дашборд;
  • • опыт поднятия локального DE-стенда без магии и страха перед Docker;
  • • понимание RAW / STG / CORE / MARTS, инкрементов, DAG, DQ-проверок и reconcile;
  • • практику с Git и репозиторием как в реальной команде;
  • • поддержку на первых шагах: разбор логов, ошибок, архитектурных решений;
  • • материалы и репозиторий, к которым можно возвращаться позже.

Нагрузка

5

Расскажите о курсе друзьям