Курс на Stepik
Обложка курса «DE-практикум: ETL-проект от RAW до Airflow, Spark и BI» на Stepik
40 000 ₽

DE-практикум: ETL-проект от RAW до Airflow, Spark и BI ★ 0.000

Открыть на
STEPIK.ORG

Соберите сквозной ETL-проект: Docker, PostgreSQL, S3, Spark, Airflow, проверки качества и BI-витрина. Каждую сдачу лично проверяет практикующий Data Engineer.

Показатель Текущие показатели Рост
Значение 🏆 Рейтинг 3 дн 7 дн 30 дн
Количество учеников на курсе «DE-практикум: ETL-проект от RAW до Airflow, Spark и BI»Учеников на курсе 1
Сертификаты, выданные на курсе «DE-практикум: ETL-проект от RAW до Airflow, Spark и BI»Сертификатов выдано 0
Отзывы о курсе «DE-практикум: ETL-проект от RAW до Airflow, Spark и BI»Отзывов получено 0
Рейтинг курса «DE-практикум: ETL-проект от RAW до Airflow, Spark и BI»Рейтинг курса 0.000
Уроки в курсе «DE-практикум: ETL-проект от RAW до Airflow, Spark и BI»Количество уроков 68
Тесты в курсе «DE-практикум: ETL-проект от RAW до Airflow, Spark и BI»Количество квизов 378
Задачи с кодом в курсе «DE-практикум: ETL-проект от RAW до Airflow, Spark и BI»Количество задач с кодом 26
Время прохождения курса «DE-практикум: ETL-проект от RAW до Airflow, Spark и BI»Время прохождения курса —
Стоимость курса «DE-практикум: ETL-проект от RAW до Airflow, Spark и BI»Стоимость курса 40 000 ₽ —
Обновления курса «DE-практикум: ETL-проект от RAW до Airflow, Spark и BI»Обновления курса — —
Дата публикации курса «DE-практикум: ETL-проект от RAW до Airflow, Spark и BI»Дата публикации курса — ———
Последнее обновление курса «DE-практикум: ETL-проект от RAW до Airflow, Spark и BI»Последнее обновление — ———
Сложность easy — ———

Чему вы научитесь

  • Поднимать локальный стенд: Spark + Postgres + Airflow + JupyterLab + MinIO в Docker
  • Понимать, что за что отвечает в окружении, и разбирать типовые проблемы по логам
  • Организовывать слои RAW / STG / CORE / MARTS на реальном датасете
  • Делать идемпотентные и инкрементальные загрузки
  • Проектировать факты, измерения, event-даты и витрины
  • Писать базовые SQL- и Spark-трансформации для подготовки слоёв
  • Оформлять пайплайн в Airflow DAG: зависимости, ретраи, расписание
  • Делать DQ-проверки: дубли, пустые ключи, расхождения по слоям
  • Собирать финальную витрину и простой BI-дашборд
  • Оформлять результат в Git-репозитории и уверенно рассказывать про свой ETL-проект на собеседовании

О курсе

Соберите сквозной ETL-проект: Docker, PostgreSQL, S3, Spark, Airflow, проверки качества и BI-витрина. Каждую сдачу лично проверяет практикующий Data Engineer.

Для кого этот курс

аналитикам и BI-специалистам, которые уже пишут SQL и хотят понимать весь путь данных до витрины; Junior Data Engineers, которым не хватает цельного проекта и практики на стыках инструментов; разработчикам и специалистам по данным, которые хотят системно освоить DWH, Spark и Airflow; тем, кто готовится к DE-собеседованиям и хочет предметно рассказать о сделанном проекте.

Начальные требования

  • SQL: SELECT, JOIN, GROUP BY, агрегаты и CTE;
  • базовый Python: чтение кода, функции, списки, словари и работа с файлами;
  • понимание таблиц, ключей и витрин на уровне основных идей;
  • готовность поставить Docker по инструкции, читать логи и разбираться с ошибками;
  • компьютер с 16 ГБ ОЗУ. С 12 ГБ пройти можно, но 16 ГБ комфортнее.

Если сомневаетесь в подготовке, пройдите короткую диагностику на странице практикума. Она проверит SQL, Python, окружение и доступное время. После заявки я посмотрю ответы и честно скажу, стоит ли заходить в поток сейчас.

Преподаватели курса

Аватар Кузьмин Дмитрий
Кузьмин Дмитрий
Data Engineer
★ 4.9
15 курсов 2 802
→

Как проходит обучение

Вы проходите практикум в своем темпе, без обязательных созвонов и видео-марафонов.

Сначала проходите демо или диагностику и пишете мне в Telegram. После подтверждения получаете доступ к приватному GitHub-репозиторию и инструкции по запуску стенда.

Дальше поднимаете локальное окружение у себя на машине и проходите модули по шагам: SQL, Docker, Postgres, Spark, Airflow, DWH, проверки качества, витрины и BI.

По ходу задаете вопросы в чате. Я помогаю с окружением, логами, ошибками в коде и ключевыми решениями по пайплайну.

Рекомендованный темп — 6-8 часов в неделю.

Что вы получите

  • цельный проект для портфолио: mini-DWH, сквозной ETL, проверки качества, витрина и BI-дашборд;
  • опыт поднятия локального DE-стенда без магии и страха перед Docker;
  • понимание RAW / STG / CORE / MARTS, инкрементов, DAG, DQ-проверок и reconcile;
  • практику с Git и репозиторием как в реальной команде;
  • поддержку на первых шагах: разбор логов, ошибок, архитектурных решений;
  • материалы и репозиторий, к которым можно возвращаться позже.

Нагрузка

150

Расскажите о курсе друзьям