Чему вы научитесь
- Понимать, зачем нужен Apache Airflow и какие задачи он решает
- Устанавливать Apache Airflow локально и через Docker
- Ориентироваться в интерфейсе Airflow UI
- Создавать DAG-файлы на Python
- Добавлять задачи и настраивать зависимости между ними
- Запускать DAG вручную и по расписанию
- Работать с логами, статусами задач и ошибками выполнения
- Понимать DAG Run, Task Instance, catchup, retries и backfill
- Использовать BashOperator, Python-задачи и TaskFlow API
- Передавать данные между задачами
- Работать с Variables, Connections и параметрами запуска
- Создавать простые ETL-пайплайны
- Разбирать типичные ошибки и понимать, где искать причину падения DAG
О курсе
Научитесь создавать, запускать и сопровождать пайплайны в Apache Airflow 3.x: от первого DAG до практических ETL-сценариев, расписаний, логов, зависимостей, Docker-окружения и подходов из реальной работы Data Engineer.
Для кого этот курс
Курс подойдёт тем, кто хочет разобраться с Apache Airflow с нуля и научиться применять его на практике.
Он будет полезен:
аналитикам, которые хотят автоматизировать регулярные выгрузки, расчёты и проверки данных
начинающим Data Engineer, которым нужно освоить один из основных инструментов профессии
Python-разработчикам, которые хотят перейти ближе к работе с данными и пайплайнами
BI-специалистам, которые хотят лучше понимать, как устроены ETL-процессы
студентам и джунам, которые собирают портфолио и хотят добавить в него практический проект с Airflow
специалистам, которые уже видели Airflow на работе, но пока не чувствуют уверенности в DAG, расписаниях, логах и зависимостях
Курс особенно подойдёт тем, кто хочет перейти от ручного запуска скриптов к нормальной автоматизации процессов.
Начальные требования
Для прохождения курса желательно иметь базовое понимание Python.
Не нужно быть опытным Data Engineer, но будет полезно, если вы уже умеете:
- писать простые Python-скрипты
- запускать команды в терминале
- работать с файлами и папками
- понимать, что такое виртуальное окружение
- иметь общее представление об ETL и обработке данных
- понимать базовые идеи SQL
- иметь базовое представление о Docker
Если часть этих тем пока незнакома, это не критично. В курсе мы будем двигаться постепенно и разбирать необходимые вещи по мере появления.
Преподаватели курса
426
Как проходит обучение
Курс состоит из коротких теоретических уроков, практических заданий, примеров кода, тестов и подробных инструкций.
- Сначала мы разберём, что такое Apache Airflow и как он устроен. Затем установим Airflow разными способами: локально и через Docker. После этого перейдём к практике: создадим первый DAG, запустим его через интерфейс, посмотрим граф выполнения и логи задач.
- Дальше каждый новый модуль будет добавлять новый практический навык: расписания, зависимости, повторные попытки, обработку ошибок, передачу данных между задачами, работу с переменными, подключениями и внешними системами.
- В уроках будут встречаться типичные ошибки, с которыми сталкиваются начинающие пользователи Airflow. Мы будем не просто показывать правильный код, но и разбирать, почему что-то может не работать и где искать причину.
Обучение лучше проходить вместе с практикой: открыть свой Airflow, повторять команды, запускать DAG и проверять результат в интерфейсе.
Что вы получите
- Практическое понимание Apache Airflow с нуля
- Навык создания DAG-файлов на Python
- Понимание Airflow UI, логов, статусов и запусков
- Готовые примеры учебных DAG
- Пошаговые инструкции по установке Airflow
- Практику с Docker-окружением
- Понимание расписаний, зависимостей, retries, catchup и backfill
- Базу для создания собственных ETL-пайплайнов
- Разбор типичных ошибок и способов их исправления
- Материалы, которые можно использовать как справочник после прохождения курса
Нагрузка
4-5 часов в неделю