Чему вы научитесь
- Объяснять принципы медальонной архитектуры данных (Bronze -> Silver -> Gold) и концепцию ELT (Extract-Load-Transform).
- Анализировать «грязные» сырые данные, находить дубликаты, аномалии, опечатки и скрытые технические ошибки в бизнес-слоях.
- Сравнивать различные типы материализации dbt.
- Разворачивать и конфигурировать dbt-проект с нуля как в облачной песочнице (Google Colab), так и в локальной среде разработки.
- Настраивать файлы конфигурации подключения profiles.yml и изолировать доступы к базам данных от самого кода.
- Регистрировать внешние таблицы и управлять ими через централизованные источники данных sources.yml.
- Создавать динамические переиспользуемые SQL-скрипты, используя шаблонизатор Jinja и собственные кастомные макросы.
- Разрабатывать и внедрять автоматические тесты качества данных (unique, not_null, accepted_values), защищая проект от технического мусора.
- Генерировать интерактивную документацию и визуальные графы связей данных (Lineage Graph) одной командой.
О курсе
Научитесь использовать силу DBT, писать чистый код без повторов, запускать тесты качества данных на практике.
Для кого этот курс
SQL-аналитики и BI-разработчики, которые хотят вырасти до Analytics Engineer, избавиться от рутины и писать чистый, поддерживаемый код.
Начинающие дата-инженеры, желающие освоить dbt — главный инструмент трансформации данных на рынке.
Начальные требования
1. Знание SQL (Базовый уровень)
Вы должны уверенно понимать основы синтаксиса SQL, так как dbt полностью построен на нём. Вам пригодятся знания:
- Простых запросов (
select,from,where). - Агрегатных функций (
count,sum,group by). - Объединения таблиц (
left join,inner join). - Понимание CTE (конструкций
with ... as) будет большим плюсом, но если вы с ними не знакомы — мы научимся им в процессе.
2. Минимальные технические ресурсы
Если вы выбираете рекомендуемый простой путь обучения (в облаке Google Colab):
- Компьютер: Подойдет абсолютно любой рабочий ноутбук или ПК (даже самый слабый).
- Браузер: Актуальная версия любого современного браузера (Chrome, Safari, Firefox, Edge).
- Аккаунт: Наличие учетной записи Google (Google Account) для запуска Colab.
3. Навыки работы с компьютером
- Базовое понимание, как работают папки и файлы.
- Отсутствие страха перед черным окном терминала (командной строкой) — все нужные команды мы будем давать с подробными подсказками.
Преподаватели курса
81
Как проходит обучение
Курс разработан по принципу «минимум лекций — максимум кода» и состоит из последовательных практических шагов:
- Теоретический спринт: Каждый урок начинается с короткого разбора концепции (например, зачем нужен слой Silver или как работает макрос
ref). - Интерактивная практика: Вы пошагово выполняете готовый код прямо в Google Colab. Вы сразу видите, как сырые данные превращаются в чистые витрины.
- Контроль знаний: В конце каждого логического блока вы проходите интерактивные тесты с вариантами ответов для закрепления теории.
- Лабораторные работы (ТЗ): Вы получаете реальные бизнес-задачи (технические задания) на очистку и агрегацию данных, которые решаете самостоятельно внутри dbt-проекта.
- Автоматическая проверка: Вы запускаете команду
!dbt testи по логам консоли мгновенно понимаете, правильно ли выполнено задание
Что вы получите
- Умение проектировать данные по слоям современной архитектуры медальона (Bronze → Silver → Gold).
- Навык автоматического контроля качества данных (Data Quality) с помощью запуска тестов, которые сами ловят дубликаты и пустые значения.
- Понимание принципов «чистого кода» (Best Practices) в аналитике: умение писать переиспользуемые макросы на Jinja и организовывать SQL через CTE.
Нагрузка
4-5 часов в неделю