Курс на Stepik
Обложка курса «Apache Airflow 3.x с нуля: автоматизация ETL и Data Pipelines» на Stepik
2 890 ₽

Apache Airflow 3.x с нуля: автоматизация ETL и Data Pipelines 0.000

Открыть на
STEPIK.ORG

Научитесь создавать, запускать и сопровождать пайплайны в Apache Airflow 3.x: от первого DAG до практических ETL-сценариев, расписаний, логов, зависимостей, Docker-окружения и подходов из реальной работы Data Engineer.

Показатель Текущие показатели Рост
Значение 🏆 Рейтинг 3 дн 7 дн 30 дн
Количество учеников на курсе «Apache Airflow 3.x с нуля: автоматизация ETL и Data Pipelines»Учеников на курсе 0
Сертификаты, выданные на курсе «Apache Airflow 3.x с нуля: автоматизация ETL и Data Pipelines»Сертификатов выдано 0
Отзывы о курсе «Apache Airflow 3.x с нуля: автоматизация ETL и Data Pipelines»Отзывов получено 0
Рейтинг курса «Apache Airflow 3.x с нуля: автоматизация ETL и Data Pipelines»Рейтинг курса 0.000
Уроки в курсе «Apache Airflow 3.x с нуля: автоматизация ETL и Data Pipelines»Количество уроков 71
Тесты в курсе «Apache Airflow 3.x с нуля: автоматизация ETL и Data Pipelines»Количество квизов 204
Время прохождения курса «Apache Airflow 3.x с нуля: автоматизация ETL и Data Pipelines»Время прохождения курса
Стоимость курса «Apache Airflow 3.x с нуля: автоматизация ETL и Data Pipelines»Стоимость курса 2 890 ₽
Обновления курса «Apache Airflow 3.x с нуля: автоматизация ETL и Data Pipelines»Обновления курса
Дата публикации курса «Apache Airflow 3.x с нуля: автоматизация ETL и Data Pipelines»Дата публикации курса
Последнее обновление курса «Apache Airflow 3.x с нуля: автоматизация ETL и Data Pipelines»Последнее обновление
Сложность easy

Содержание курса

Разделы в курсе «Apache Airflow 3.x с нуля: автоматизация ETL и Data Pipelines» 12 разделов Уроки в курсе «Apache Airflow 3.x с нуля: автоматизация ETL и Data Pipelines» 71 урок Тесты в курсе «Apache Airflow 3.x с нуля: автоматизация ETL и Data Pipelines» 204 теста Время прохождения курса «Apache Airflow 3.x с нуля: автоматизация ETL и Data Pipelines» 0 ч. Последнее обновление курса «Apache Airflow 3.x с нуля: автоматизация ETL и Data Pipelines» обн. 20 августа 2026

Apache Airflow 3.x с нуля: автоматизация ETL и Data Pipelines

4 урока
1. Apache Airflow. Введение.
2. Airflow 2.10+ и Airflow 3.2.x: ключевые изменения.
3. Архитектура Airflow 2.x: как устроен классический Airflow
4. Архитектура Airflow 3.x: как устроен современный Airflow

Установка Apache Airflow 2.10+ и Airflow 3.x

8 уроков
1. Вводный урок модуля установки
2. Установка Airflow 2.10+ в WSL на Windows
3. Установка Airflow 2.10+ через Docker
4. Установка Apache Airflow 3.2.2 в WSL
5. Установка Apache Airflow 3.2.2 через Docker
6. Установка Apache Airflow 3.2.2 на macOS
7. Установка Apache Airflow 3.2.2 на macOS через Docker
8. Заключение и инструкции по установке для скачивания

Основы DAG: tasks, operators, dependencies и logs

8 уроков
1. Что мы будем создавать в этом модуле
2. Где находится папка dags и как Airflow находит DAG-файлы
3. Создаём первый DAG: базовая структура Python-файла
4. Находим DAG в Airflow UI и проверяем ошибки загрузки
5. Запускаем DAG вручную и следим за его выполнением
6. Открываем логи задач и анализируем результат выполнения
7. Намеренно ломаем задачу, находим ошибку и восстанавливаем DAG
8. Итоговая практика: создаём учебный ETL-пайплайн

Python-задачи и TaskFlow API

9 уроков
1. Что нас ждёт в модуле «Python-задачи и TaskFlow API»
2. Первая Python-задача с PythonOperator
3. Контекст выполнения Python-задачи
4. Первый DAG с TaskFlow API: декораторы @dag и @task
5. Возвращаем значения из TaskFlow-задач и передаём данные через XC
6. Несколько результатов задачи: словарь и multiple_outputs=True
7. PythonOperator и TaskFlow API: сравниваем два подхода
8. Намеренно ломаем Python-задачу и читаем traceback
9. Итоговая практика: полноценный Python-пайплайн

Расписание и надёжность DAG

11 уроков
1. Что нас ждёт в модуле «Расписание и надёжность DAG»
2. Параметр schedule: ручные и автоматические запуски
3. Cron-выражения: минуты, часы, дни и недели
4. Часовые пояса: UTC, Москва и Алматы
5. start_date, logical_date и data interval
6. catchup=False и catchup=True
7. Backfill: пересчёт выбранного исторического периода
8. Повторные попытки: retries, retry_delay и up_for_retry
9. Ограничение времени выполнения: execution_timeout
10. Правила запуска задач: trigger_rule
11. Итоговая практика: отказоустойчивый ежедневный ETL-DAG

интеграции, Connections, Hooks и Providers

9 уроков
1. Providers, Connections, Hooks и Operators
2. Управление Connections: UI, CLI, Environment Variables и Secrets
3. Connections, Variables и Params: что и где хранить
4. Реальная HTTP-интеграция: HTTP Provider и HttpHook
5. Pagination, rate limits и устойчивый API ingestion
6. Branching: условное выполнение веток DAG
7. Trigger Rules: управление запуском downstream-задач
8. Dynamic Task Mapping: динамическое количество Task Instances
9. TaskGroup: как структурировать большие DAG

Sensors, deferrable operators и ожидание внешних событий

3 урока
1. Sensors: ожидание внешних условий. Poke и reschedule
2. Deferrable Operators и Triggerer: ожидание без удержания worker
3. ExternalTaskSensor: зависимости между DAG и ожидание внешних зап

Assets и data-aware orchestration

4 урока
1. Assets: запуск DAG по факту обновления данных
2. Asset scheduling: AND/OR, Asset Events и metadata обновлений
3. AssetAlias, динамические Assets и AssetOrTimeSchedule
4. Partitioned Assets: orchestration на уровне партиций в Airflow 3

Эксплуатация Airflow в production

5 уроков
1. Retries и Timeouts: как правильно обрабатывать сбои
2. Pools, concurrency и управление параллелизмом
3. Логи и диагностика production DAG
4. Alerts, callbacks и Deadline Alerts
5. Идемпотентность и безопасные перезапуски

Executors и масштабирование

4 урока
1. Что такое Executor и как выбрать модель выполнения Tasks
2. CeleryExecutor: broker, workers, queues
3. KubernetesExecutor: отдельный Pod на каждую таску
4. Масштабирование Airflow: где появляются узкие места, архитектура

Тестирование, CI/CD и правила создания качественного DAGа

4 урока
1. Проверка DAG до production: импорт, структура и локальный запуск
2. Unit-tests и бизнес-логика: как отделять Python-код от Airflow
3. Ruff и автоматические правила качества
4. CI/CD для Airflow: pipeline от commit до deployment

Итоговый проект курса

2 урока
1. Итоговый проект курса: producer, Asset и consumer
2. финальная памятка по всему Apache Airflow 3.2.2