Сколько стоит курс «DE-практикум: Spark, Docker, Postgres, Airflow, S3. Поток 3»?

Стоимость курса составляет 35000.00 рублей

Какой рейтинг у курса «DE-практикум: Spark, Docker, Postgres, Airflow, S3. Поток 3»?

Курс имеет рейтинг 0.0 из 5 на основе 0 отзывов. На курсе обучается 10 учеников.

Где можно пройти курс «DE-практикум: Spark, Docker, Postgres, Airflow, S3. Поток 3»?

Курс доступен на образовательной платформе Stepik по адресу stepik.org/course/279157.

Курс на Stepik

Обложка курса «DE-практикум: Spark, Docker, Postgres, Airflow, S3. Поток 3» на Stepik

35 000 ₽

DE-практикум: Spark, Docker, Postgres, Airflow, S3. Поток 3 ★ 0.000

Name: DE-практикум: Spark, Docker, Postgres, Airflow, S3. Поток 3
Price: 35000.00 RUB
Availability: InStock
Rating: 0 (0 reviews)

Открыть на
STEPIK.ORG

Живой практикум по Data Engineering: поднимаем локальный кластер (Spark + Postgres + Jupyter + Airflow), строим слои RAW/STG/CORE на реальном датасете и разбираем паттерны middle-уровня. Формат потока: небольшая группа, плотная поддержка и доработка курса по вашей обратной связи.

Показатель	Текущие показатели		Рост
Показатель	Значение	🏆 Рейтинг	3 дн	7 дн	30 дн
Учеников на курсе	10
Сертификатов выдано	0
Отзывов получено	0
Рейтинг курса	0.000
Количество уроков	74
Количество квизов	486
Количество задач с кодом	32
Время прохождения курса	1 ч.	—
Стоимость курса	35 000 ₽	—
Обновления курса	—	—
Дата публикации курса	5 месяцев назад	—	—	—	—
Последнее обновление	5 августа 2026	—	—	—	—
Сложность	normal	—	—	—	—

Содержание курса

Разделы в курсе «DE-практикум: Spark, Docker, Postgres, Airflow, S3. Поток 3»

12 разделов Уроки в курсе «DE-практикум: Spark, Docker, Postgres, Airflow, S3. Поток 3»

74 урока Тесты в курсе «DE-практикум: Spark, Docker, Postgres, Airflow, S3. Поток 3»

486 тестов Задачи в курсе «DE-практикум: Spark, Docker, Postgres, Airflow, S3. Поток 3»

32 задачи Время прохождения курса «DE-практикум: Spark, Docker, Postgres, Airflow, S3. Поток 3»

1 ч.

обн. 5 августа 2026

Введение

4 урока

1. Добро пожаловать ↗

2. Важно перед стартом ↗

3. Справка: Docker Desktop для Windows ↗

4. Справка: Docker Desktop для Windows ↗

Модуль 0. Окружение: Docker-стенд, репозиторий, первый запуск

5 уроков

1. Как проходить практикум через Stepik + Git ↗

2. Как устроен практикум и stand-репозиторий ↗

3. Установка инструментов ↗

4. Репозиторий и правила работы с файлами ↗

5. Первый запуск стенда и проверка сервисов ↗

Модуль 1. RAW → STG: загрузка датасетов, идемпотентность

7 уроков

1. Что вы построите в этом модуле ↗

2. Как устроено хранилище данных... ↗

3. RAW и ingest_date ↗

4. Первая загрузка orders в STG ↗

5. order_items и проверки связности ↗

6. Остальные таблицы и проверка идемпотентности ↗

7. Рецензируемая сдача модуля 1 ↗

Модуль 2. CORE: факты/измерения, event-даты, инкременты

6 уроков

1. Зачем нужен CORE: факт, измерения, grain и звезда ↗

2. Первые измерения CORE и полный загрузочный прогон (SCD1) ↗

3. CORE-измерения SCD1: dim_product и dim_seller ↗

4. core.dim_customer как SCD2: история, версии и инкремент ↗

5. core.fct_order_items: grain, batch rebuild и связи с измерениями ↗

6. Рецензируемая сдача модуля 2 ↗

Модуль 3. Основы Spark

7 уроков

1. Инженерия данных и место Spark в вашем учебном пайплайне ↗

2. Spark с нуля: DataFrame и инженерный цикл ↗

3. Базовые трансформации в Spark: DataFrame API, Spark SQL ↗

4. Фильтрация, даты и агрегации в Spark ↗

5. Соединение нескольких таблиц в Spark: grain, счётчики и join;s ↗

6. Parquet, partitionBy, coalesce и repartition ↗

7. Рецензируемая сдача модуля 3 ↗

Витрины: денормализация, партиционирование

7 уроков

1. Витрины: контракт, grain и первый реестр MARTS ↗

2. Wide-витрина: денормализация факта без агрегации ↗

3. Агрегатная витрина sales_daily: дневные продажи и reconcile ↗

4. Топ продавцов помесячно ↗

5. Партиционирование витрин: Postgres и S3/Parquet ↗

6. Инкрементальная пересборка витрины (Postgres + Spark/S3) ↗

7. Рецензируемая сдача модуля 4 ↗

Качество и SLA: дубликаты, пропуски, аномалии

5 уроков

1. Журнал проверок DQ ↗

2. STG sanity-checks ↗

3. CORE sanity-checks ↗

4. MARTS sanity-checks ↗

5. Рецензируемая сдача модуля 5 ↗

Spark Batch: трансформации, партиционирование, оптимизация

5 уроков

1. Каркас джобы, параметры и идемпотентная запись ↗

2. Wide to Parquet: контракт, grain и идемпотентная запись ↗

3. Partition pruning и small files на Parquet в MinIO (S3A) ↗

4. Join и агрегаты: row explosion, broadcast и skew ↗

5. Производительность: explain, cache/persist, shuffle partitions ↗

Оркестрация в Airflow

9 уроков

1. Первый запуск DAG и Connection к Postgres ↗

2. PostgresOperator и современный аналог SQLExecuteQueryOperator ↗

3. PythonOperator: DQ-чек, PostgresHook и XCom ↗

4. BashOperator: команды, внешние скрипты и поведение при ошибках ↗

5. Единый DAG: SQL + Python + Bash + параметры запуска ↗

6. Проектная оркестрация RAW → STG через SQL-файлы (ingest_date) ↗

7. Проектная оркестрация STG → CORE через SQL-файлы (ingest_date) ↗

8. Проектная оркестрация CORE → MARTS через SQL-файлы (ingest_date) ↗

9. Вариативность пайплайна: параллельные слои, Spark jobs ↗

BI в Metabase

1 урок

1. В разработке ↗

Финал курса

1 урок

1. Спасибо и обратная связь ↗

Основы Spark: архитектура, DataFrame и выполнение задач

8 уроков

1. Spark в data pipeline: роль и устройство стенда ↗

2. Как работает Spark: Driver, Executors и партиции ↗

3. DataFrame на практике: чтение, преобразование и запись ↗

4. От кода к выполнению: lazy evaluation, DAG, jobs, stages и tasks ↗

5. Фильтры, даты и агрегации в PySpark ↗

6. Join без ошибок: grain, дубли и row explosion ↗

7. Parquet и партиционирование: структура данных и число файлов ↗

8. Рецензируемая сдача модуля 5 ↗