Курс на Stepik
Обложка курса «Apache Airflow 3.x с нуля: автоматизация ETL и Data Pipelines» на Stepik
2 890 ₽

Apache Airflow 3.x с нуля: автоматизация ETL и Data Pipelines ★ 5.000

Открыть на
STEPIK.ORG

Научитесь создавать, запускать и сопровождать пайплайны в Apache Airflow 3.x: от первого DAG до практических ETL-сценариев, расписаний, логов, зависимостей, Docker-окружения и подходов из реальной работы Data Engineer.

Показатель Текущие показатели Рост
Значение 🏆 Рейтинг 3 дн 7 дн 30 дн
Количество учеников на курсе «Apache Airflow 3.x с нуля: автоматизация ETL и Data Pipelines»Учеников на курсе 11
Сертификаты, выданные на курсе «Apache Airflow 3.x с нуля: автоматизация ETL и Data Pipelines»Сертификатов выдано 1
Отзывы о курсе «Apache Airflow 3.x с нуля: автоматизация ETL и Data Pipelines»Отзывов получено 1
Рейтинг курса «Apache Airflow 3.x с нуля: автоматизация ETL и Data Pipelines»Рейтинг курса 5.000
Уроки в курсе «Apache Airflow 3.x с нуля: автоматизация ETL и Data Pipelines»Количество уроков 71
Тесты в курсе «Apache Airflow 3.x с нуля: автоматизация ETL и Data Pipelines»Количество квизов 204
Время прохождения курса «Apache Airflow 3.x с нуля: автоматизация ETL и Data Pipelines»Время прохождения курса —
Стоимость курса «Apache Airflow 3.x с нуля: автоматизация ETL и Data Pipelines»Стоимость курса 2 890 ₽ —
Обновления курса «Apache Airflow 3.x с нуля: автоматизация ETL и Data Pipelines»Обновления курса — —
Дата публикации курса «Apache Airflow 3.x с нуля: автоматизация ETL и Data Pipelines»Дата публикации курса — ———
Последнее обновление курса «Apache Airflow 3.x с нуля: автоматизация ETL и Data Pipelines»Последнее обновление — ———
Сложность easy — ———

Содержание курса

Разделы в курсе «Apache Airflow 3.x с нуля: автоматизация ETL и Data Pipelines» 12 разделов Уроки в курсе «Apache Airflow 3.x с нуля: автоматизация ETL и Data Pipelines» 71 урок Тесты в курсе «Apache Airflow 3.x с нуля: автоматизация ETL и Data Pipelines» 204 теста Время прохождения курса «Apache Airflow 3.x с нуля: автоматизация ETL и Data Pipelines» 0 ч. Последнее обновление курса «Apache Airflow 3.x с нуля: автоматизация ETL и Data Pipelines» обн. 5 октября 2026

Apache Airflow 3.x с нуля: автоматизация ETL и Data Pipelines

4 урока
1. Apache Airflow. Введение. ↗
2. Airflow 2.10+ и Airflow 3.2.x: ключевые изменения. ↗
3. Архитектура Airflow 2.x: как устроен классический Airflow ↗
4. Архитектура Airflow 3.x: как устроен современный Airflow ↗

Установка Apache Airflow 2.10+ и Airflow 3.x

8 уроков
1. Вводный урок модуля установки ↗
2. Установка Airflow 2.10+ в WSL на Windows ↗
3. Установка Airflow 2.10+ через Docker ↗
4. Установка Apache Airflow 3.2.2 в WSL ↗
5. Установка Apache Airflow 3.2.2 через Docker ↗
6. Установка Apache Airflow 3.2.2 на macOS ↗
7. Установка Apache Airflow 3.2.2 на macOS через Docker ↗
8. Заключение и инструкции по установке для скачивания ↗

Основы DAG: tasks, operators, dependencies и logs

8 уроков
1. Что мы будем создавать в этом модуле ↗
2. Где находится папка dags и как Airflow находит DAG-файлы ↗
3. Создаём первый DAG: базовая структура Python-файла ↗
4. Находим DAG в Airflow UI и проверяем ошибки загрузки ↗
5. Запускаем DAG вручную и следим за его выполнением ↗
6. Открываем логи задач и анализируем результат выполнения ↗
7. Намеренно ломаем задачу, находим ошибку и восстанавливаем DAG ↗
8. Итоговая практика: создаём учебный ETL-пайплайн ↗

Python-задачи и TaskFlow API

9 уроков
1. Что нас ждёт в модуле «Python-задачи и TaskFlow API» ↗
2. Первая Python-задача с PythonOperator ↗
3. Контекст выполнения Python-задачи ↗
4. Первый DAG с TaskFlow API: декораторы @dag и @task ↗
5. Возвращаем значения из TaskFlow-задач и передаём данные через XC ↗
6. Несколько результатов задачи: словарь и multiple_outputs=True ↗
7. PythonOperator и TaskFlow API: сравниваем два подхода ↗
8. Намеренно ломаем Python-задачу и читаем traceback ↗
9. Итоговая практика: полноценный Python-пайплайн ↗

Расписание и надёжность DAG

11 уроков
1. Что нас ждёт в модуле «Расписание и надёжность DAG» ↗
2. Параметр schedule: ручные и автоматические запуски ↗
3. Cron-выражения: минуты, часы, дни и недели ↗
4. Часовые пояса: UTC, Москва и Алматы ↗
5. start_date, logical_date и data interval ↗
6. catchup=False и catchup=True ↗
7. Backfill: пересчёт выбранного исторического периода ↗
8. Повторные попытки: retries, retry_delay и up_for_retry ↗
9. Ограничение времени выполнения: execution_timeout ↗
10. Правила запуска задач: trigger_rule ↗
11. Итоговая практика: отказоустойчивый ежедневный ETL-DAG ↗

интеграции, Connections, Hooks и Providers

9 уроков
1. Providers, Connections, Hooks и Operators ↗
2. Управление Connections: UI, CLI, Environment Variables и Secrets ↗
3. Connections, Variables и Params: что и где хранить ↗
4. Реальная HTTP-интеграция: HTTP Provider и HttpHook ↗
5. Pagination, rate limits и устойчивый API ingestion ↗
6. Branching: условное выполнение веток DAG ↗
7. Trigger Rules: управление запуском downstream-задач ↗
8. Dynamic Task Mapping: динамическое количество Task Instances ↗
9. TaskGroup: как структурировать большие DAG ↗

Sensors, deferrable operators и ожидание внешних событий

3 урока
1. Sensors: ожидание внешних условий. Poke и reschedule ↗
2. Deferrable Operators и Triggerer: ожидание без удержания worker ↗
3. ExternalTaskSensor: зависимости между DAG и ожидание внешних зап ↗

Assets и data-aware orchestration

4 урока
1. Assets: запуск DAG по факту обновления данных ↗
2. Asset scheduling: AND/OR, Asset Events и metadata обновлений ↗
3. AssetAlias, динамические Assets и AssetOrTimeSchedule ↗
4. Partitioned Assets: orchestration на уровне партиций в Airflow 3 ↗

Эксплуатация Airflow в production

5 уроков
1. Retries и Timeouts: как правильно обрабатывать сбои ↗
2. Pools, concurrency и управление параллелизмом ↗
3. Логи и диагностика production DAG ↗
4. Alerts, callbacks и Deadline Alerts ↗
5. Идемпотентность и безопасные перезапуски ↗

Executors и масштабирование

4 урока
1. Что такое Executor и как выбрать модель выполнения Tasks ↗
2. CeleryExecutor: broker, workers, queues ↗
3. KubernetesExecutor: отдельный Pod на каждую таску ↗
4. Масштабирование Airflow: где появляются узкие места, архитектура ↗

Тестирование, CI/CD и правила создания качественного DAGа

4 урока
1. Проверка DAG до production: импорт, структура и локальный запуск ↗
2. Unit-tests и бизнес-логика: как отделять Python-код от Airflow ↗
3. Ruff и автоматические правила качества ↗
4. CI/CD для Airflow: pipeline от commit до deployment ↗

Итоговый проект курса

2 урока
1. Итоговый проект курса: producer, Asset и consumer ↗
2. финальная памятка по всему Apache Airflow 3.2.2 ↗