Курс на Stepik
Обложка курса «DE-практикум: Spark, Docker, Postgres, Airflow, S3. Поток 4.» на Stepik
35 000 ₽

DE-практикум: Spark, Docker, Postgres, Airflow, S3. Поток 4. ★ 0.000

Открыть на
STEPIK.ORG

Живой DE-практикум для тех, у кого уже есть рабочий SQL и кто хочет руками пройти путь от локального стенда до DWH, ETL, Spark, Airflow и BI. Поднимаете mini-кластер на ноутбуке, собираете сквозной пайплайн и получаете цельный проект для портфолио и собеседований.

Показатель Текущие показатели Рост
Значение 🏆 Рейтинг 3 дн 7 дн 30 дн
Количество учеников на курсе «DE-практикум: Spark, Docker, Postgres, Airflow, S3. Поток 4.»Учеников на курсе 10
Сертификаты, выданные на курсе «DE-практикум: Spark, Docker, Postgres, Airflow, S3. Поток 4.»Сертификатов выдано 0
Отзывы о курсе «DE-практикум: Spark, Docker, Postgres, Airflow, S3. Поток 4.»Отзывов получено 0
Рейтинг курса «DE-практикум: Spark, Docker, Postgres, Airflow, S3. Поток 4.»Рейтинг курса 0.000
Уроки в курсе «DE-практикум: Spark, Docker, Postgres, Airflow, S3. Поток 4.»Количество уроков 65
Тесты в курсе «DE-практикум: Spark, Docker, Postgres, Airflow, S3. Поток 4.»Количество квизов 355
Задачи с кодом в курсе «DE-практикум: Spark, Docker, Postgres, Airflow, S3. Поток 4.»Количество задач с кодом 26
Время прохождения курса «DE-практикум: Spark, Docker, Postgres, Airflow, S3. Поток 4.»Время прохождения курса —
Стоимость курса «DE-практикум: Spark, Docker, Postgres, Airflow, S3. Поток 4.»Стоимость курса 35 000 ₽ —
Обновления курса «DE-практикум: Spark, Docker, Postgres, Airflow, S3. Поток 4.»Обновления курса — —
Дата публикации курса «DE-практикум: Spark, Docker, Postgres, Airflow, S3. Поток 4.»Дата публикации курса — ———
Последнее обновление курса «DE-практикум: Spark, Docker, Postgres, Airflow, S3. Поток 4.»Последнее обновление — ———
Сложность normal — ———

Чему вы научитесь

  • Поднимать локальный стенд: Spark + Postgres + Airflow + JupyterLab + MinIO в Docker
  • Понимать, что за что отвечает в окружении, и разбирать типовые проблемы по логам
  • Организовывать слои RAW / STG / CORE / MARTS на реальном датасете
  • Делать идемпотентные и инкрементальные загрузки
  • Проектировать факты, измерения, event-даты и витрины
  • Писать базовые SQL- и Spark-трансформации для подготовки слоёв
  • Оформлять пайплайн в Airflow DAG: зависимости, ретраи, расписание
  • Делать DQ-проверки: дубли, пустые ключи, расхождения по слоям
  • Собирать финальную витрину и простой BI-дашборд
  • Оформлять результат в Git-репозитории и уверенно рассказывать про свой ETL-проект на собеседовании

О курсе

Живой DE-практикум для тех, у кого уже есть рабочий SQL и кто хочет руками пройти путь от локального стенда до DWH, ETL, Spark, Airflow и BI. Поднимаете mini-кластер на ноутбуке, собираете сквозной пайплайн и получаете цельный проект для портфолио и собеседований.

Для кого этот курс

Для кого этот курс

Практикум подойдёт:

Аналитикам и BI-специалистам, которые хотят перейти в Data Engineering не через абстрактные лекции, а через реальный проект;

Junior DE и backend-разработчикам, которым не хватает цельной практики: DWH, Spark, Airflow, витрины и BI;

Тем, у кого уже есть рабочий SQL и кто хочет не просто смотреть уроки, а собрать руками ETL-пайплайн и получить сильный кейс для портфолио.

Начальные требования

уверенная база по SQL: SELECT, JOIN, GROUP BY, базовые агрегаты, CTE
понимание, что такое факты, измерения и слои данных на уровне идей
базовое знакомство с Python: читать код, править простые функции, не бояться списков и словарей
готовность поставить Docker по инструкции и немного разбираться с окружением
желание не просто “запустить ноутбук”, а понять логику и архитектуру пайплайна

Преподаватели курса

Аватар Кузьмин Дмитрий
Кузьмин Дмитрий
Data Engineer
★ 4.9
12 курсов 2 504
→

Как проходит обучение

Вы проходите практикум в своём темпе, без созвонов и видео-марафонов.

Сначала заполняете диагностику и пишете мне в Telegram. После подтверждения получаете доступ к приватному GitHub-репозиторию и инструкции по запуску стенда.

Дальше поднимаете локальное окружение у себя на машине, проходите модули по шагам и собираете проект: SQL, Spark, Docker, Airflow, DWH, BI.

По ходу задаёте вопросы в чате. Я помогаю с окружением, логами, ошибками в коде и ключевыми решениями по пайплайну.

Рекомендованный темп — 6-8 часов в неделю.

Что вы получите

  • цельный проект для портфолио: mini-DWH + сквозной ETL + витрина + BI-дашборд
  • навык поднятия локального DE-стенда без магии и страха перед Docker
  • понимание, как устроены RAW / STG / CORE / MARTS, инкременты, DAG и DQ-проверки
  • опыт работы с Git и приватным репозиторием как в реальной команде
  • поддержку на первых шагах: разбор логов, ошибок, архитектурных решений
  • материалы и репозиторий, к которым можно возвращаться позже, когда будете собирать свой следующий пайплайн

Нагрузка

5

Расскажите о курсе друзьям