Курс на Stepik
Обложка курса «Apache Airflow: ETL-проект на PostgreSQL+DataLens (Yandex Cloud)» на Stepik
1 990 ₽

Apache Airflow: ETL-проект на PostgreSQL+DataLens (Yandex Cloud) ★ 4.000

Открыть на
STEPIK.ORG

Постройте полноценную аналитическую систему в Yandex Cloud с нуля. От первого запроса к API до готового дашборда в DataLens. Это не демо и не игрушка в sandbox, а реальный проект с production-подходом.

Показатель Текущие показатели Рост
Значение 🏆 Рейтинг 3 дн 7 дн 30 дн
Количество учеников на курсе «Apache Airflow: ETL-проект на PostgreSQL+DataLens (Yandex Cloud)»Учеников на курсе 46
Сертификаты, выданные на курсе «Apache Airflow: ETL-проект на PostgreSQL+DataLens (Yandex Cloud)»Сертификатов выдано 13
Отзывы о курсе «Apache Airflow: ETL-проект на PostgreSQL+DataLens (Yandex Cloud)»Отзывов получено 5
Рейтинг курса «Apache Airflow: ETL-проект на PostgreSQL+DataLens (Yandex Cloud)»Рейтинг курса 4.000
Уроки в курсе «Apache Airflow: ETL-проект на PostgreSQL+DataLens (Yandex Cloud)»Количество уроков 38
Тесты в курсе «Apache Airflow: ETL-проект на PostgreSQL+DataLens (Yandex Cloud)»Количество квизов 17
Время прохождения курса «Apache Airflow: ETL-проект на PostgreSQL+DataLens (Yandex Cloud)»Время прохождения курса —
Стоимость курса «Apache Airflow: ETL-проект на PostgreSQL+DataLens (Yandex Cloud)»Стоимость курса 1 990 ₽ —
Обновления курса «Apache Airflow: ETL-проект на PostgreSQL+DataLens (Yandex Cloud)»Обновления курса — —
Дата публикации курса «Apache Airflow: ETL-проект на PostgreSQL+DataLens (Yandex Cloud)»Дата публикации курса — ———
Последнее обновление курса «Apache Airflow: ETL-проект на PostgreSQL+DataLens (Yandex Cloud)»Последнее обновление — ———
Сложность normal — ———

Содержание курса

Разделы в курсе «Apache Airflow: ETL-проект на PostgreSQL+DataLens (Yandex Cloud)» 8 разделов Уроки в курсе «Apache Airflow: ETL-проект на PostgreSQL+DataLens (Yandex Cloud)» 38 уроков Тесты в курсе «Apache Airflow: ETL-проект на PostgreSQL+DataLens (Yandex Cloud)» 17 тестов Время прохождения курса «Apache Airflow: ETL-проект на PostgreSQL+DataLens (Yandex Cloud)» 4 ч. Последнее обновление курса «Apache Airflow: ETL-проект на PostgreSQL+DataLens (Yandex Cloud)» обн. 17 августа 2026

Введение и контекст

4 урока
1. О чём этот курс и кому он подойдёт ↗
2. Какой проект мы будем строить (обзор схемы) ↗
3. Связь с преподавателем ↗
4. Настройка Окружения ↗

Источник данных и постановка задачи

4 урока
1. Зачем нам OpenAQ и что это за данные ↗
2. Структура OpenAQ API: locations, sensors, params, measurements ↗
3. Ограничения API: задержки, пагинация, неполные данные ↗
4. Проектирование модели данных под аналитику ↗

Архитектура аналитического пайплайна в Yandex Cloud

4 урока
1. Общая архитектура решения (API → Airflow → Postgres → DataLens) ↗
2. Роль оркестратора: почему именно Airflow ↗
3. Где и как живёт PostgreSQL в Yandex Cloud ↗
4. Object Storage и служебные компоненты (DAG, логи, артефакты) ↗

Apache Airflow: реализация пайплайнов

10 уроков
1. Как устроен Airflow: DAG, task, schedule, execution date ↗
2. Развёртывание Apache Airflow в Yandex Cloud (Managed Service) ↗
3. Структура наших DAG: логика и ответственность (без кода) ↗
4. Учебный DAG: классический подход (PythonOperator + XCom) ↗
5. Учебный DAG: современный подход (TaskFlow API) ↗
6. Production-пайплайн: почему иногда одна task — это нормально ↗
7. Dimension-пайплайны в Airflow: locations, parameters, sensors ↗
8. Fact-пайплайн: measurements и инкрементальная загрузка ↗
9. Идемпотентность и service tables ↗
10. Обработка ошибок и уведомления (Telegram) ↗

Хранилище данных: PostgreSQL под аналитику

5 уроков
1. Развертывание PostgreSQL в Yandex Cloud (Managed Service) ↗
2. Проектирование схемы БД для аналитики ↗
3. Fact и Dimension таблицы: зачем так, а не иначе ↗
4. Индексы, уникальные ключи, контроль дублей ↗
5. Подготовка данных для BI-инструментов ↗

Сборка и запуск Аналитической Системы

3 урока
1. Сборка системы: что у нас уже есть ↗
2. Запуск DAG’ов и ожидание данных ↗
3. Проверка результата: данные в Postgre и стабильность пайплайнов ↗

Визуализация и аналитика в DataLens

5 уроков
1. Роль BI и DataLens в нашем проекте ↗
2. Подключение PostgreSQL к DataLens ↗
3. Подготовка датасета для аналитики ↗
4. Построение дашборда: метрики и визуализации ↗
5. Интерпретация данных и возможные расширения проекта ↗

Завершение и развитие проекта

3 урока
1. Итоги: что мы построили и чему научились ↗
2. Как можно развивать этот проект дальше ↗
3. Куда двигаться дальше (следующие темы, курсы, стек) ↗