Курс на Stepik
Обложка курса «Apache Airflow: ETL-проект на PostgreSQL+DataLens (Yandex Cloud)» на Stepik
1 990 ₽

Apache Airflow: ETL-проект на PostgreSQL+DataLens (Yandex Cloud) 4.000

Открыть на
STEPIK.ORG

Постройте полноценную аналитическую систему в Yandex Cloud с нуля. От первого запроса к API до готового дашборда в DataLens. Это не демо и не игрушка в sandbox, а реальный проект с production-подходом.

Показатель Текущие показатели Рост
Значение 🏆 Рейтинг 3 дн 7 дн 30 дн
Количество учеников на курсе «Apache Airflow: ETL-проект на PostgreSQL+DataLens (Yandex Cloud)»Учеников на курсе 40
Сертификаты, выданные на курсе «Apache Airflow: ETL-проект на PostgreSQL+DataLens (Yandex Cloud)»Сертификатов выдано 12
Отзывы о курсе «Apache Airflow: ETL-проект на PostgreSQL+DataLens (Yandex Cloud)»Отзывов получено 5
Рейтинг курса «Apache Airflow: ETL-проект на PostgreSQL+DataLens (Yandex Cloud)»Рейтинг курса 4.000
Уроки в курсе «Apache Airflow: ETL-проект на PostgreSQL+DataLens (Yandex Cloud)»Количество уроков 38
Тесты в курсе «Apache Airflow: ETL-проект на PostgreSQL+DataLens (Yandex Cloud)»Количество квизов 17
Время прохождения курса «Apache Airflow: ETL-проект на PostgreSQL+DataLens (Yandex Cloud)»Время прохождения курса
Стоимость курса «Apache Airflow: ETL-проект на PostgreSQL+DataLens (Yandex Cloud)»Стоимость курса 1 990 ₽
Обновления курса «Apache Airflow: ETL-проект на PostgreSQL+DataLens (Yandex Cloud)»Обновления курса
Дата публикации курса «Apache Airflow: ETL-проект на PostgreSQL+DataLens (Yandex Cloud)»Дата публикации курса
Последнее обновление курса «Apache Airflow: ETL-проект на PostgreSQL+DataLens (Yandex Cloud)»Последнее обновление
Сложность normal

Содержание курса

Разделы в курсе «Apache Airflow: ETL-проект на PostgreSQL+DataLens (Yandex Cloud)» 8 разделов Уроки в курсе «Apache Airflow: ETL-проект на PostgreSQL+DataLens (Yandex Cloud)» 38 уроков Тесты в курсе «Apache Airflow: ETL-проект на PostgreSQL+DataLens (Yandex Cloud)» 17 тестов Время прохождения курса «Apache Airflow: ETL-проект на PostgreSQL+DataLens (Yandex Cloud)» 4 ч. Последнее обновление курса «Apache Airflow: ETL-проект на PostgreSQL+DataLens (Yandex Cloud)» обн. 13 августа 2026

Введение и контекст

4 урока
1. О чём этот курс и кому он подойдёт
2. Какой проект мы будем строить (обзор схемы)
3. Связь с преподавателем
4. Настройка Окружения

Источник данных и постановка задачи

4 урока
1. Зачем нам OpenAQ и что это за данные
2. Структура OpenAQ API: locations, sensors, params, measurements
3. Ограничения API: задержки, пагинация, неполные данные
4. Проектирование модели данных под аналитику

Архитектура аналитического пайплайна в Yandex Cloud

4 урока
1. Общая архитектура решения (API → Airflow → Postgres → DataLens)
2. Роль оркестратора: почему именно Airflow
3. Где и как живёт PostgreSQL в Yandex Cloud
4. Object Storage и служебные компоненты (DAG, логи, артефакты)

Apache Airflow: реализация пайплайнов

10 уроков
1. Как устроен Airflow: DAG, task, schedule, execution date
2. Развёртывание Apache Airflow в Yandex Cloud (Managed Service)
3. Структура наших DAG: логика и ответственность (без кода)
4. Учебный DAG: классический подход (PythonOperator + XCom)
5. Учебный DAG: современный подход (TaskFlow API)
6. Production-пайплайн: почему иногда одна task — это нормально
7. Dimension-пайплайны в Airflow: locations, parameters, sensors
8. Fact-пайплайн: measurements и инкрементальная загрузка
9. Идемпотентность и service tables
10. Обработка ошибок и уведомления (Telegram)

Хранилище данных: PostgreSQL под аналитику

5 уроков
1. Развертывание PostgreSQL в Yandex Cloud (Managed Service)
2. Проектирование схемы БД для аналитики
3. Fact и Dimension таблицы: зачем так, а не иначе
4. Индексы, уникальные ключи, контроль дублей
5. Подготовка данных для BI-инструментов

Сборка и запуск Аналитической Системы

3 урока
1. Сборка системы: что у нас уже есть
2. Запуск DAG’ов и ожидание данных
3. Проверка результата: данные в Postgre и стабильность пайплайнов

Визуализация и аналитика в DataLens

5 уроков
1. Роль BI и DataLens в нашем проекте
2. Подключение PostgreSQL к DataLens
3. Подготовка датасета для аналитики
4. Построение дашборда: метрики и визуализации
5. Интерпретация данных и возможные расширения проекта

Завершение и развитие проекта

3 урока
1. Итоги: что мы построили и чему научились
2. Как можно развивать этот проект дальше
3. Куда двигаться дальше (следующие темы, курсы, стек)