Курс на Stepik
Обложка курса «DE-практикум: Docker, Spark, Postgres, Airflow, S3. Поток 5» на Stepik
35 000 ₽

DE-практикум: Docker, Spark, Postgres, Airflow, S3. Поток 5 0.000

Открыть на
STEPIK.ORG

Практикум для тех, кто уже пишет SQL и хочет перейти от отдельных запросов к цельной работе с данными.

Показатель Текущие показатели Рост
Значение 🏆 Рейтинг 3 дн 7 дн 30 дн
Количество учеников на курсе «DE-практикум: Docker, Spark, Postgres, Airflow, S3. Поток 5»Учеников на курсе 8
Сертификаты, выданные на курсе «DE-практикум: Docker, Spark, Postgres, Airflow, S3. Поток 5»Сертификатов выдано 0
Отзывы о курсе «DE-практикум: Docker, Spark, Postgres, Airflow, S3. Поток 5»Отзывов получено 0
Рейтинг курса «DE-практикум: Docker, Spark, Postgres, Airflow, S3. Поток 5»Рейтинг курса 0.000
Уроки в курсе «DE-практикум: Docker, Spark, Postgres, Airflow, S3. Поток 5»Количество уроков 67
Тесты в курсе «DE-практикум: Docker, Spark, Postgres, Airflow, S3. Поток 5»Количество квизов 378
Задачи с кодом в курсе «DE-практикум: Docker, Spark, Postgres, Airflow, S3. Поток 5»Количество задач с кодом 26
Время прохождения курса «DE-практикум: Docker, Spark, Postgres, Airflow, S3. Поток 5»Время прохождения курса
Стоимость курса «DE-практикум: Docker, Spark, Postgres, Airflow, S3. Поток 5»Стоимость курса 35 000 ₽
Обновления курса «DE-практикум: Docker, Spark, Postgres, Airflow, S3. Поток 5»Обновления курса
Дата публикации курса «DE-практикум: Docker, Spark, Postgres, Airflow, S3. Поток 5»Дата публикации курса
Последнее обновление курса «DE-практикум: Docker, Spark, Postgres, Airflow, S3. Поток 5»Последнее обновление
Сложность normal

Содержание курса

Разделы в курсе «DE-практикум: Docker, Spark, Postgres, Airflow, S3. Поток 5» 11 разделов Уроки в курсе «DE-практикум: Docker, Spark, Postgres, Airflow, S3. Поток 5» 67 уроков Тесты в курсе «DE-практикум: Docker, Spark, Postgres, Airflow, S3. Поток 5» 378 тестов Задачи в курсе «DE-практикум: Docker, Spark, Postgres, Airflow, S3. Поток 5» 26 задач Время прохождения курса «DE-практикум: Docker, Spark, Postgres, Airflow, S3. Поток 5» 2 ч. Последнее обновление курса «DE-практикум: Docker, Spark, Postgres, Airflow, S3. Поток 5» обн. 16 августа 2026

Введение

2 урока
1. Добро пожаловать
2. Важно перед стартом

Окружение: Docker-стенд, репозиторий, первый запуск

7 уроков
1. Как проходить практикум через Stepik + Git
2. Как устроен практикум и stand-репозиторий
3. Установка инструментов
4. Репозиторий и правила работы с файлами
5. Первый запуск стенда и проверка сервисов
6. Справка: Docker Desktop для Windows
7. Справка: GitHub, доступ и clone репозитория

RAW → STG: загрузка датасетов, идемпотентность

7 уроков
1. Что вы построите в этом модуле
2. Как устроено хранилище данных...
3. RAW и ingest_date
4. Первая загрузка orders в STG
5. order_items и проверки связности
6. Остальные таблицы и проверка идемпотентности
7. Рецензируемая сдача модуля 3

CORE: факты/измерения, event-даты, инкременты

6 уроков
1. Зачем нужен CORE: факт, измерения, grain и звезда
2. Первые измерения CORE и полный загрузочный прогон (SCD1)
3. CORE-измерения SCD1: dim_product и dim_seller
4. core.dim_customer как SCD2: история, версии и инкремент
5. core.fct_order_items: grain, batch rebuild и связи с измерениями
6. Рецензируемая сдача модуля 4

Основы Spark

7 уроков
1. Инженерия данных и место Spark в вашем учебном пайплайне
2. Spark с нуля: DataFrame и инженерный цикл
3. Базовые трансформации в Spark: DataFrame API, Spark SQL
4. Фильтрация, даты и агрегации в Spark
5. Соединение нескольких таблиц в Spark: grain, счётчики и join;s
6. Parquet, partitionBy, coalesce и repartition
7. Рецензируемая сдача модуля 5

Витрины: денормализация, партиционирование

7 уроков
1. Витрины: контракт, grain и первый реестр MARTS
2. Wide-витрина: денормализация факта без агрегации
3. Агрегатная витрина sales_daily: дневные продажи и reconcile
4. Топ продавцов помесячно
5. Партиционирование витрин: Postgres и S3/Parquet
6. Инкрементальная пересборка витрины (Postgres + Spark/S3)
7. Рецензируемая сдача модуля 6

Качество и SLA: дубликаты, пропуски, аномалии

5 уроков
1. Журнал проверок DQ
2. STG sanity-checks
3. CORE sanity-checks
4. MARTS sanity-checks
5. Рецензируемая сдача модуля 7

Spark Batch: трансформации, партиционирование, оптимизация

6 уроков
1. Каркас джобы, параметры и идемпотентная запись
2. Wide to Parquet: контракт, grain и идемпотентная запись
3. Partition pruning и small files на Parquet в MinIO (S3A)
4. Join и агрегаты: row explosion, broadcast и skew
5. Производительность: explain, cache/persist, shuffle partitions
6. Рецензируемая сдача модуля 8

Оркестрация в Airflow

11 уроков
1. Первый запуск DAG и Connection к Postgres
2. SQLExecuteQueryOperator: первый SQL-DAG
3. PythonOperator: DQ-check, PostgresHook и XCom
4. BashOperator: скрипты, exit code и ошибки
5. Единый DAG: SQL, Python, Bash и параметры
6. Source → RAW: первый ingestion DAG
7. RAW → STG: запуск project SQL по ingest_date
8. STG → CORE: зависимости, SCD и strict checks
9. CORE → MARTS: витрины, порядок и проверки
10. Варианты пайплайна: параллельные ветки и Spark jobs
11. Рецензируемая сдача модуля 9

BI в Metabase

7 уроков
1. Первый вход в Metabase и место BI в проекте
2. BI contract views и readonly-подключение
3. Sales Overview: дашборд по daily-витрине
4. Wide Mart Explorer: детализация заказов и drill-down
5. Сигналы качества в BI: freshness, smoke и reconcile
6. BI governance: naming, права и правила эксплуатации
7. Рецензируемая сдача модуля 10

Основы Spark ver_2

1 урок
1. Роль Spark в пайплайне