Курс на Stepik
Обложка курса «Apache Airflow 3 для Data Engineering» на Stepik
499 ₽

Apache Airflow 3 для Data Engineering ★ 0.000

Открыть на
STEPIK.ORG

Введение в Apache Airflow 3 для системных программистов, которые решили войти в сферу Data Engineering.

Показатель Текущие показатели Рост
Значение 🏆 Рейтинг 3 дн 7 дн 30 дн
Количество учеников на курсе «Apache Airflow 3 для Data Engineering»Учеников на курсе 2
Сертификаты, выданные на курсе «Apache Airflow 3 для Data Engineering»Сертификатов выдано 0
Отзывы о курсе «Apache Airflow 3 для Data Engineering»Отзывов получено 0
Рейтинг курса «Apache Airflow 3 для Data Engineering»Рейтинг курса 0.000
Уроки в курсе «Apache Airflow 3 для Data Engineering»Количество уроков 40
Тесты в курсе «Apache Airflow 3 для Data Engineering»Количество квизов 42
Стоимость курса «Apache Airflow 3 для Data Engineering»Стоимость курса 499 ₽ —
Обновления курса «Apache Airflow 3 для Data Engineering»Обновления курса — —
Дата публикации курса «Apache Airflow 3 для Data Engineering»Дата публикации курса — ———
Последнее обновление курса «Apache Airflow 3 для Data Engineering»Последнее обновление — ———
Сложность normal — ———

Содержание курса

Разделы в курсе «Apache Airflow 3 для Data Engineering» 10 разделов Уроки в курсе «Apache Airflow 3 для Data Engineering» 40 уроков Тесты в курсе «Apache Airflow 3 для Data Engineering» 42 теста Последнее обновление курса «Apache Airflow 3 для Data Engineering» обн. 25 августа 2026

Зачем нужен Airflow и какую проблему он решает

4 урока
1. Cron, скрипты и хаос периодических задач ↗
2. Airflow как оркестратор, а не движок вычислений ↗
3. Основные сущности Airflow ↗
4. Типовые сценарии использования ↗

Локальная среда Airflow через Docker Compose

4 урока
1. Поднимаем Airflow локально ↗
2. Первый вход в Web UI ↗
3. Структура рабочего проекта ↗
4. Настройки, переменные окружения и базовая отладка ↗

Первый DAG и базовая модель выполнения

4 урока
1. Пишем первый DAG ↗
2. Operators и TaskFlow API ↗
3. Расписания и логическая дата ↗
4. Зависимости между задачами ↗

Параметры, XCom и передача данных между задачами

4 урока
1. Params и конфигурация запуска ↗
2. XCom без злоупотребления ↗
3. Variables и Connections ↗
4. Jinja templates ↗

Работа с внешними системами

4 урока
1. HTTP API как источник данных ↗
2. PostgreSQL в Airflow-пайплайнах ↗
3. Файлы: CSV, JSON и Parquet ↗
4. S3/MinIO как локальное объектное хранилище ↗

ETL/ELT-пайплайн от сырого источника до витрины

4 урока
1. Проектируем простой data pipeline ↗
2. Extract: забираем данные ↗
3. Transform: чистим и нормализуем ↗
4. Load: пишем результат ↗

Ретраи, ошибки и надёжность пайплайнов

4 урока
1. Retry policy ↗
2. Timeouts и зависшие задачи ↗
3. Идемпотентность задач ↗
4. Recovery после падения ↗

Backfill и историческая переработка данных

4 урока
1. Catchup и data intervals ↗
2. Backfill по дням и месяцам ↗
3. Идемпотентный backfill ↗
4. Практический сценарий backfill ↗

Data quality, уведомления и эксплуатация

4 урока
1. Проверки качества данных ↗
2. Уведомления об ошибках ↗
3. Логи и диагностика ↗
4. Поддержка DAG-ов в рабочем состоянии ↗

Финальный проект: production-like ETL на Airflow

4 урока
1. Постановка задачи ↗
2. Реализация DAG-а ↗
3. Backfill и восстановление ↗
4. Разбор финального решения ↗