Чему вы научитесь
- Разворачивать production-ready рабочее окружение dbt, ClickHouse, Docker, VS Code и DBeaver для эффективной локальной разработки.
- Строить многослойные хранилища данных (Raw, Bronze, Silver, Gold) на базе Modern Data Stack dbt + ClickHouse.
- Подключать и описывать источники сырых данных из слоя Raw при помощи конфигурационных файлов sources.yml.
- Проектировать оптимизированные модели dbt models, используя специфику и возможности движков семейства MergeTree (ReplacingMergeTree) в ClickHouse.
- Настраивать параметры и конфигурации моделей dbt, включая партиционирование, ключи сортировки, материализации и TTL, для их корректной работы с базой данных ClickHouse.
- Писать собственные макросы на Jinja и переопределять встроенные функции dbt для гибкого управления логикой моделей и автоматизации рутины.
- Вести понятную YAML-документацию для контроля качества данных и генерации интерактивной документации проекта с графом зависимостей Data Lineage.
- Писать собственные проверки качества любой сложности при помощи Custom Generic Tests.
- Создавать словари ClickHouse Dictionary для быстрого обогащения данных на лету при помощи dbt seeds без использования тяжелых операций JOIN.
- Создавать витрины данных с использованием инкрементальных моделей incremental для эффективного расчета бизнес-метрик на больших объемах данных.
- Строить production-ready хранилища данных — от сырых логов до финальных аналитических витрин, используя лучшие практики аналитической инженерии.
О курсе
Практический курс по dbt на сквозном проекте: построите хранилище данных по медальонной архитектуре, используя ClickHouse. Успейте купить курс по сниженной цене
Для кого этот курс
Курс подойдет всем, кто хочет освоить современный стек аналитики Modern Data Stack на базе dbt и ClickHouse. Он рассчитан как на начинающих специалистов, так и на практикующих аналитиков и инженеров данных: Data Analysts, Analytics Engineers, BI-разработчиков и Data Engineers.
Начальные требования
Для успешного прохождения курса нужны следующие знания:
— Основы SQL: CTE, SELECT, WHERE, GROUP BY, JOIN, а также понимаете основные объекты баз данных: таблицы, поля, представления, материализованные представления.
— Основы dbt, можно пройти на моем бесплатном курсе (https://stepik.org/course/289243).
— Основы ClickHouse.
Преподаватели курса
219
Как проходит обучение
Каждый урок содержит в себе:
-
Теорию: понятное объяснение концепций без лишней «воды».
-
Практические примеры: разбор теории на понятных, приближенных к реальности примерах.
-
Задания: проверочные тесты, а также домашние задания на программирование. Все практические задания проверяются лично мной: я провожу Code Review и даю обратную связь с рекомендациями.
Нагрузка
3-4 часа в неделю