Курс на Stepik
Обложка курса «Apache Airflow 3 для Data Engineering» на Stepik
499 ₽

Apache Airflow 3 для Data Engineering 0.000

Открыть на
STEPIK.ORG

Введение в Apache Airflow 3 для системных программистов, которые решили войти в сферу Data Engineering.

Показатель Текущие показатели Рост
Значение 🏆 Рейтинг 3 дн 7 дн 30 дн
Количество учеников на курсе «Apache Airflow 3 для Data Engineering»Учеников на курсе 0
Сертификаты, выданные на курсе «Apache Airflow 3 для Data Engineering»Сертификатов выдано 0
Отзывы о курсе «Apache Airflow 3 для Data Engineering»Отзывов получено 0
Рейтинг курса «Apache Airflow 3 для Data Engineering»Рейтинг курса 0.000
Уроки в курсе «Apache Airflow 3 для Data Engineering»Количество уроков 40
Тесты в курсе «Apache Airflow 3 для Data Engineering»Количество квизов 42
Стоимость курса «Apache Airflow 3 для Data Engineering»Стоимость курса 499 ₽
Обновления курса «Apache Airflow 3 для Data Engineering»Обновления курса
Дата публикации курса «Apache Airflow 3 для Data Engineering»Дата публикации курса
Последнее обновление курса «Apache Airflow 3 для Data Engineering»Последнее обновление
Сложность normal

Содержание курса

Разделы в курсе «Apache Airflow 3 для Data Engineering» 10 разделов Уроки в курсе «Apache Airflow 3 для Data Engineering» 40 уроков Тесты в курсе «Apache Airflow 3 для Data Engineering» 42 теста Последнее обновление курса «Apache Airflow 3 для Data Engineering» обн. 25 августа 2026

Зачем нужен Airflow и какую проблему он решает

4 урока
1. Cron, скрипты и хаос периодических задач
2. Airflow как оркестратор, а не движок вычислений
3. Основные сущности Airflow
4. Типовые сценарии использования

Локальная среда Airflow через Docker Compose

4 урока
1. Поднимаем Airflow локально
2. Первый вход в Web UI
3. Структура рабочего проекта
4. Настройки, переменные окружения и базовая отладка

Первый DAG и базовая модель выполнения

4 урока
1. Пишем первый DAG
2. Operators и TaskFlow API
3. Расписания и логическая дата
4. Зависимости между задачами

Параметры, XCom и передача данных между задачами

4 урока
1. Params и конфигурация запуска
2. XCom без злоупотребления
3. Variables и Connections
4. Jinja templates

Работа с внешними системами

4 урока
1. HTTP API как источник данных
2. PostgreSQL в Airflow-пайплайнах
3. Файлы: CSV, JSON и Parquet
4. S3/MinIO как локальное объектное хранилище

ETL/ELT-пайплайн от сырого источника до витрины

4 урока
1. Проектируем простой data pipeline
2. Extract: забираем данные
3. Transform: чистим и нормализуем
4. Load: пишем результат

Ретраи, ошибки и надёжность пайплайнов

4 урока
1. Retry policy
2. Timeouts и зависшие задачи
3. Идемпотентность задач
4. Recovery после падения

Backfill и историческая переработка данных

4 урока
1. Catchup и data intervals
2. Backfill по дням и месяцам
3. Идемпотентный backfill
4. Практический сценарий backfill

Data quality, уведомления и эксплуатация

4 урока
1. Проверки качества данных
2. Уведомления об ошибках
3. Логи и диагностика
4. Поддержка DAG-ов в рабочем состоянии

Финальный проект: production-like ETL на Airflow

4 урока
1. Постановка задачи
2. Реализация DAG-а
3. Backfill и восстановление
4. Разбор финального решения