Курс на Stepik
Обложка курса «DE-практикум: Spark, Docker, Postgres, Airflow, S3. Поток 4.» на Stepik
35 000 ₽

DE-практикум: Spark, Docker, Postgres, Airflow, S3. Поток 4. ★ 5.000

Открыть на
STEPIK.ORG

Живой DE-практикум для тех, у кого уже есть рабочий SQL и кто хочет руками пройти путь от локального стенда до DWH, ETL, Spark, Airflow и BI. Поднимаете mini-кластер на ноутбуке, собираете сквозной пайплайн и получаете цельный проект для портфолио и собеседований.

Показатель Текущие показатели Рост
Значение 🏆 Рейтинг 3 дн 7 дн 30 дн
Количество учеников на курсе «DE-практикум: Spark, Docker, Postgres, Airflow, S3. Поток 4.»Учеников на курсе 12
Сертификаты, выданные на курсе «DE-практикум: Spark, Docker, Postgres, Airflow, S3. Поток 4.»Сертификатов выдано 0
Отзывы о курсе «DE-практикум: Spark, Docker, Postgres, Airflow, S3. Поток 4.»Отзывов получено 2
Рейтинг курса «DE-практикум: Spark, Docker, Postgres, Airflow, S3. Поток 4.»Рейтинг курса 5.000
Уроки в курсе «DE-практикум: Spark, Docker, Postgres, Airflow, S3. Поток 4.»Количество уроков 74
Тесты в курсе «DE-практикум: Spark, Docker, Postgres, Airflow, S3. Поток 4.»Количество квизов 486
Задачи с кодом в курсе «DE-практикум: Spark, Docker, Postgres, Airflow, S3. Поток 4.»Количество задач с кодом 32
Время прохождения курса «DE-практикум: Spark, Docker, Postgres, Airflow, S3. Поток 4.»Время прохождения курса —
Стоимость курса «DE-практикум: Spark, Docker, Postgres, Airflow, S3. Поток 4.»Стоимость курса 35 000 ₽ —
Обновления курса «DE-практикум: Spark, Docker, Postgres, Airflow, S3. Поток 4.»Обновления курса — —
Дата публикации курса «DE-практикум: Spark, Docker, Postgres, Airflow, S3. Поток 4.»Дата публикации курса — ———
Последнее обновление курса «DE-практикум: Spark, Docker, Postgres, Airflow, S3. Поток 4.»Последнее обновление — ———
Сложность normal — ———

Содержание курса

Разделы в курсе «DE-практикум: Spark, Docker, Postgres, Airflow, S3. Поток 4.» 12 разделов Уроки в курсе «DE-практикум: Spark, Docker, Postgres, Airflow, S3. Поток 4.» 74 урока Тесты в курсе «DE-практикум: Spark, Docker, Postgres, Airflow, S3. Поток 4.» 486 тестов Задачи в курсе «DE-практикум: Spark, Docker, Postgres, Airflow, S3. Поток 4.» 32 задачи Время прохождения курса «DE-практикум: Spark, Docker, Postgres, Airflow, S3. Поток 4.» 9 ч. Последнее обновление курса «DE-практикум: Spark, Docker, Postgres, Airflow, S3. Поток 4.» обн. 5 августа 2026

Введение

2 урока
1. Добро пожаловать ↗
2. Важно перед стартом ↗

Окружение: Docker-стенд, репозиторий, первый запуск

7 уроков
1. Как проходить практикум через Stepik + Git ↗
2. Как устроен практикум и stand-репозиторий ↗
3. Установка инструментов ↗
4. Репозиторий и правила работы с файлами ↗
5. Первый запуск стенда и проверка сервисов ↗
6. Справка: Docker Desktop для Windows ↗
7. Справка: GitHub, доступ и clone репозитория ↗

RAW → STG: загрузка датасетов, идемпотентность

7 уроков
1. Что вы построите в этом модуле ↗
2. Как устроено хранилище данных... ↗
3. RAW и ingest_date ↗
4. Первая загрузка orders в STG ↗
5. order_items и проверки связности ↗
6. Остальные таблицы и проверка идемпотентности ↗
7. Рецензируемая сдача модуля 3 ↗

CORE: факты/измерения, event-даты, инкременты

6 уроков
1. Зачем нужен CORE: факт, измерения, grain и звезда ↗
2. Первые измерения CORE и полный загрузочный прогон (SCD1) ↗
3. CORE-измерения SCD1: dim_product и dim_seller ↗
4. core.dim_customer как SCD2: история, версии и инкремент ↗
5. core.fct_order_items: grain, batch rebuild и связи с измерениями ↗
6. Рецензируемая сдача модуля 4 ↗

Основы Spark

7 уроков
1. Инженерия данных и место Spark в вашем учебном пайплайне ↗
2. Spark с нуля: DataFrame и инженерный цикл ↗
3. Базовые трансформации в Spark: DataFrame API, Spark SQL ↗
4. Фильтрация, даты и агрегации в Spark ↗
5. Соединение нескольких таблиц в Spark: grain, счётчики и join;s ↗
6. Parquet, partitionBy, coalesce и repartition ↗
7. Рецензируемая сдача модуля 5 ↗

Витрины: денормализация, партиционирование

7 уроков
1. Витрины: контракт, grain и первый реестр MARTS ↗
2. Wide-витрина: денормализация факта без агрегации ↗
3. Агрегатная витрина sales_daily: дневные продажи и reconcile ↗
4. Топ продавцов помесячно ↗
5. Партиционирование витрин: Postgres и S3/Parquet ↗
6. Инкрементальная пересборка витрины (Postgres + Spark/S3) ↗
7. Рецензируемая сдача модуля 6 ↗

Качество и SLA: дубликаты, пропуски, аномалии

5 уроков
1. Журнал проверок DQ ↗
2. STG sanity-checks ↗
3. CORE sanity-checks ↗
4. MARTS sanity-checks ↗
5. Рецензируемая сдача модуля 7 ↗

Spark Batch: трансформации, партиционирование, оптимизация

6 уроков
1. Каркас джобы, параметры и идемпотентная запись ↗
2. Wide to Parquet: контракт, grain и идемпотентная запись ↗
3. Partition pruning и small files на Parquet в MinIO (S3A) ↗
4. Join и агрегаты: row explosion, broadcast и skew ↗
5. Производительность: explain, cache/persist, shuffle partitions ↗
6. Рецензируемая сдача модуля 8 ↗

Оркестрация в Airflow

11 уроков
1. Первый запуск DAG и Connection к Postgres ↗
2. SQLExecuteQueryOperator: первый SQL-DAG ↗
3. PythonOperator: DQ-check, PostgresHook и XCom ↗
4. BashOperator: скрипты, exit code и ошибки ↗
5. Единый DAG: SQL, Python, Bash и параметры ↗
6. Source → RAW: первый ingestion DAG ↗
7. RAW → STG: запуск project SQL по ingest_date ↗
8. STG → CORE: зависимости, SCD и strict checks ↗
9. CORE → MARTS: витрины, порядок и проверки ↗
10. Варианты пайплайна: параллельные ветки и Spark jobs ↗
11. Рецензируемая сдача модуля 9 ↗

BI в Metabase

7 уроков
1. Первый вход в Metabase и место BI в проекте ↗
2. BI contract views и readonly-подключение ↗
3. Sales Overview: дашборд по daily-витрине ↗
4. Wide Mart Explorer: детализация заказов и drill-down ↗
5. Сигналы качества в BI: freshness, smoke и reconcile ↗
6. BI governance: naming, права и правила эксплуатации ↗
7. Рецензируемая сдача модуля 10 ↗

Финал курса

1 урок
1. Спасибо и обратная связь ↗

Основы Spark: архитектура, DataFrame и выполнение задач

8 уроков
1. Spark в data pipeline: роль и устройство стенда ↗
2. Как работает Spark: Driver, Executors и партиции ↗
3. DataFrame на практике: чтение, преобразование и запись ↗
4. От кода к выполнению: lazy evaluation, DAG, jobs, stages и tasks ↗
5. Фильтры, даты и агрегации в PySpark ↗
6. Join без ошибок: grain, дубли и row explosion ↗
7. Parquet и партиционирование: структура данных и число файлов ↗
8. Рецензируемая сдача модуля 5 ↗