Курс на Stepik
Обложка курса «Практикум-курс по оркестрации данных на Dagster и DLT» на Stepik
Бесплатно

Практикум-курс по оркестрации данных на Dagster и DLT ★ 0.000

Открыть на
STEPIK.ORG

На курсе вы на практике разберетесь с ETL-процессами, OLTP/OLAP, batch и stream обработкой. Познакомитесь с Dagster: SDA, Resources, IOManagers и Asset Checks. Создадите Python-проект, настроите Git и GitHub, опишете конфигурацию пайплайнов в YAML, подключитесь к данным из кода и соберете ETL-пайплайн. Дополнительно: DLT (REST API, загрузка файлов, интеграция с Dagster) и Apache Nifi (обработка и хранение данных). Чему научитесь: выбирать ETL/ELT, извлекать и нормализовать данные, проектировать устойчивые

Показатель Текущие показатели Рост
Значение 🏆 Рейтинг 3 дн 7 дн 30 дн
Количество учеников на курсе «Практикум-курс по оркестрации данных на Dagster и DLT»Учеников на курсе 37
Сертификаты, выданные на курсе «Практикум-курс по оркестрации данных на Dagster и DLT»Сертификатов выдано 0
Отзывы о курсе «Практикум-курс по оркестрации данных на Dagster и DLT»Отзывов получено 0
Рейтинг курса «Практикум-курс по оркестрации данных на Dagster и DLT»Рейтинг курса 0.000
Уроки в курсе «Практикум-курс по оркестрации данных на Dagster и DLT»Количество уроков 6
Тесты в курсе «Практикум-курс по оркестрации данных на Dagster и DLT»Количество квизов 33
Время прохождения курса «Практикум-курс по оркестрации данных на Dagster и DLT»Время прохождения курса —
Обновления курса «Практикум-курс по оркестрации данных на Dagster и DLT»Обновления курса — —
Дата публикации курса «Практикум-курс по оркестрации данных на Dagster и DLT»Дата публикации курса — ———
Последнее обновление курса «Практикум-курс по оркестрации данных на Dagster и DLT»Последнее обновление — ———
Сложность normal — ———

Чему вы научитесь

  • Выбирать ETL, ELT или EtLT под требования бизнеса.
  • Извлекать и нормализовать данные на Python.
  • Готовить первый пайплайн к загрузке в аналитическое хранилище.
  • Проектировать устойчивые пайплайны данных.
  • Разделять бизнес-логику и инфраструктуру через Resources и IOManagers.
  • Запускать локальный проект Dagster и настраивать проверки качества.
  • Проектировать связанные цепочки ассетов.
  • Управлять контекстом выполнения и логированием.
  • Внедрять Asset Checks, чтобы останавливать обработку при ошибках.
  • Деплоить пайплайны и работать с интеграциями

О курсе

На курсе вы на практике разберетесь с ETL-процессами, OLTP/OLAP, batch и stream обработкой. Познакомитесь с Dagster: SDA, Resources, IOManagers и Asset Checks. Создадите Python-проект, настроите Git и GitHub, опишете конфигурацию пайплайнов в YAML, подключитесь к данным из кода и соберете ETL-пайплайн. Дополнительно: DLT (REST API, загрузка файлов, интеграция с Dagster) и Apache Nifi (обработка и хранение данных). Чему научитесь: выбирать ETL/ELT, извлекать и нормализовать данные, проектировать устойчивые

Для кого этот курс

1. Аналитик данных, который хочет вырасти до инженера данных Вы уже умеете писать сложные SQL-запросы и строить дашборды в Tableau или Power BI, но ваши отчеты постоянно тормозят из-за неоптимизированных выгрузок. Вы видите, что для перехода на следующий уровень вам не хватает навыков построения надежных ETL-пайплайнов, а ваши текущие решения на Python и Airflow кажутся вам "колхозными". Вы ищете современный, промышленный подход к оркестрации данных. 2. Junior Data Engineer, который работает с «кустарными» пайплайнами Вы работаете инженером данных первый год и отвечаете за пайплайны, которые были написаны "на коленке" вашим предшественником. Они постоянно падают, их невозможно отладить, а добавление нового источника данных превращается в квест. Вы слышали про Dagster и слышали, что он решает эти проблемы, но не знаете, с чего начать его внедрение в реальном проекте. 3. Техлид или архитектор, который выбирает стек для команды Ваша команда переросла возможности старых инструментов оркестрации. Запуски пайплайнов стали непредсказуемыми, сложно отследить качество данных, а документация по процессам устарела в тот же день, когда была написана. Вы ищете решение, которое обеспечит прозрачность, контроль качества и позволит масштабироваться. Вы выбрали Dagster как кандидата, но вам нужно быстро, на конкретном проекте, оценить его возможности и принять решение.

Начальные требования

Курс рассчитан на начинающих в оркестрации данных, но предполагает наличие базовых навыков. Убедитесь, что до старта у вас есть:

  1. Базовое знание Python. Вам не нужно быть экспертом, но вы должны уверенно читать и понимать код на Python, знать основы синтаксиса и работы с функциями. В ходе курса вы будете писать код для ETL-пайплайнов, поэтому эти навыки необходимы для старта.

  2. Понимание основ SQL. Вы будете работать с данными в аналитических хранилищах, поэтому важно понимать, что такое таблицы, и уметь читать простые SELECT-запросы. Сложные запросы мы будем писать вместе, но база должна быть.

  3. Базовые навыки работы с командной строкой (терминалом). В курсе мы будем устанавливать пакеты, запускать проект Dagster и выполнять другие команды. Вам не нужно быть гуру командной строки, но вы должны уметь открыть терминал, перейти в нужную папку и выполнить готовую команду.

  4. Общее понимание ETL-процессов. Будет плюсом, если вы уже знакомы с концепцией ETL (Extract, Transform, Load). Если нет — не страшно, в первом же уроке мы подробно разбираем эту тему.

Преподаватели курса

Аватар Инженерка Тех
Инженерка Тех
Помогаем инженерам повысить свой уровень до международного | ✅ О нас и наших тренажерах https://inzhenerka.tech
★ 4.5
15 курсов 7 344
→

Как проходит обучение

Это не просто курс, а практикум. Каждый шаг в тренажере — это новая вводная от лида или правка от заказчика. 

Что вы получите

  • Практические навыки в первой миссии. Вы пройдете полноценный блок «Теория ETL», где:
  • Разберетесь, как сырые данные превращаются в бизнес-ценность через ETL-процессы.
  • Узнаете, чем отличаются ETL, ELT и EtLT, и научитесь выбирать подход под разные бизнес-задачи.
  • Напишете свой первый Python-скрипт для извлечения и нормализации данных.
  • Создадите первый пайплайн и подготовите его к загрузке в аналитическое хранилище.
  • Знакомство с экосистемой Dagster. Вы не просто прочитаете про инструмент, а сразу начнете с ним работать в реальной среде:
  • Поймете концепцию Software Defined Assets (SDA).
  • Увидите, как выглядит граф данных в UI Dagster.
  • Научитесь запускать локальный проект Dagster и настраивать первые проверки качества.
  • Возможность оценить формат обучения. Это ключевая цель демо. Вы сможете:
  • Поработать в нашей облачной IDE, где всё уже настроено для работы.
  • Оценить, насколько вам подходит формат «сюжетного симулятора» с заданиями по реальным бизнес-кейсам.
  • Понять логику и сложность курса, чтобы принять взвешенное решение о покупке полной версии.

Расскажите о курсе друзьям