Чему вы научитесь
- 1. Собирать ETL-пайплайн в Apache Airflow и запускать его по расписанию
- 2. Разворачивать аналитическую систему в Yandex Cloud: Airflow, PostgreSQL, DataLens
- 3. Анализировать CSV, Parquet и JSON через SQL в DuckDB — без сервера и загрузки в базу
- 4. Использовать продвинутый SQL: оконные функции, PIVOT, EXCLUDE
- 5. Писать SQL-проверки на NULL, дубликаты, диапазоны и связность таблиц
- 6. Настраивать автоматическую валидацию: Great Expectations, Pydantic, Pandera
- 7. Встраивать проверки качества в Airflow и останавливать пайплайн на плохих данных
- 8. Мониторить свежесть, объём и схему данных — Data Observability
- 9. Проектировать схему БД под аналитику и строить дашборды в DataLens
О курсе
Для кого этот курс
Начальные требования
☑️ Базовый SQL: SELECT, JOIN, GROUP BY
☑️ Базовый Python: функции, циклы, работа с библиотеками и pandas
☑️ Общее представление об API и HTTP-запросах
☑️ Компьютер, на который можно поставить DuckDB и запускать код локально
Опыта работы с Airflow, Great Expectations и облаком не нужно — всё разбираем с нуля.
⚠️ Про облако: курс по Airflow разворачивается в Yandex Cloud, это платная
инфраструктура. Новым пользователям выдаётся стартовый грант, которого
при разумном расходовании ресурсов хватает на прохождение проекта.
Курсы по DuckDB и по проверкам данных выполняются локально
и не требуют никаких расходов.
Преподаватели курса
408
Как проходит обучение
Рекомендуемый порядок:
DuckDB → Airflow → проверки данных
Первый курс проходится за вечер и даёт быстрый результат, второй — самый объёмный
проект, третий делает собранное надёжным.
Порядок необязательный:
курсы самостоятельные, начать можно с любого.
📝 Короткие уроки с конкретными примерами кода и SQL
🔨 Практические задания после каждой темы: вы пишете запросы и код руками
📊 Реальные данные: NYC Taxi (1 млн+ записей) и e-commerce-проект
🛠 В каждом курсе законченный проект, а не набор разрозненных примеров
💬 Telegram-чат в каждом курсе: отвечаю на вопросы лично
♾ Доступ к материалам остаётся навсегда, проходить можно в своём темпе
Что вы получите
- ✅ Три рабочих инструмента: локальная SQL-аналитика, оркестрация пайплайнов, автоматические проверки качества
- ✅ Три законченных проекта: анализ NYC Taxi, ETL-система в Yandex Cloud, Data Quality pipeline на e-commerce
- ✅ Готовый код и SQL-шаблоны, которые можно забрать в свою работу
- ✅ Сертификат Stepik по каждому из трёх курсов
- ✅ Доступ навсегда и все будущие обновления курсов
- ✅ Экономия 980 ₽ относительно покупки по-отдельности
- ✅ Личную поддержку автора в Telegram