Курс на Stepik
Обложка курса «Первые шаги в Data Engineering: проект с нуля» на Stepik
1 490 ₽

Первые шаги в Data Engineering: проект с нуля ★ 5.000

Открыть на
STEPIK.ORG

Практический курс по инженерии данных для начинающих. Постройте полноценный конвейер данных уровня Junior Data Engineer: от ETL и баз данных до оркестрации, мониторинга и дашбордов. Реальный проект с использованием PostgreSQL, dbt, Airflow, Kafka, Superset, Grafana, а также гибридного хранилища на MinIO и Apache Iceberg.

Показатель Текущие показатели Рост
Значение 🏆 Рейтинг 3 дн 7 дн 30 дн
Количество учеников на курсе «Первые шаги в Data Engineering: проект с нуля»Учеников на курсе 24
Сертификаты, выданные на курсе «Первые шаги в Data Engineering: проект с нуля»Сертификатов выдано 3
Отзывы о курсе «Первые шаги в Data Engineering: проект с нуля»Отзывов получено 2
Рейтинг курса «Первые шаги в Data Engineering: проект с нуля»Рейтинг курса 5.000
Уроки в курсе «Первые шаги в Data Engineering: проект с нуля»Количество уроков 46
Тесты в курсе «Первые шаги в Data Engineering: проект с нуля»Количество квизов 369
Время прохождения курса «Первые шаги в Data Engineering: проект с нуля»Время прохождения курса —
Стоимость курса «Первые шаги в Data Engineering: проект с нуля»Стоимость курса 1 490 ₽ —
Обновления курса «Первые шаги в Data Engineering: проект с нуля»Обновления курса — —
Дата публикации курса «Первые шаги в Data Engineering: проект с нуля»Дата публикации курса — ———
Последнее обновление курса «Первые шаги в Data Engineering: проект с нуля»Последнее обновление — ———
Сложность easy — ———

Содержание курса

Разделы в курсе «Первые шаги в Data Engineering: проект с нуля» 13 разделов Уроки в курсе «Первые шаги в Data Engineering: проект с нуля» 46 уроков Тесты в курсе «Первые шаги в Data Engineering: проект с нуля» 369 тестов Время прохождения курса «Первые шаги в Data Engineering: проект с нуля» 2 ч. Последнее обновление курса «Первые шаги в Data Engineering: проект с нуля» обн. 6 октября 2026

Введение

1 урок
1. Введение ↗

Подготовка рабочего окружения

3 урока
1. Установка программ ↗
2. Установка Git, регистрация на GitHub ↗
3. Настройка Git, SSH-ключи, .gitignore ↗

Docker Compose и база данных PostgreSQL

4 урока
1. Базы данных, хранилища и озёра данных ↗
2. Docker Compose: поднимаем PostgreSQL ↗
3. Задания к Уроку "Docker Compose: поднимаем PostgreSQL" ↗
4. Подключение к базе данных ↗

ETL и ELT

7 уроков
1. Разница ETL и ELT ↗
2. Извлечение данных разных форматов ↗
3. Начало работы с API ↗
4. Добавляем тесты ↗
5. Продолжение работы с API ↗
6. Трансформация и загрузка данных в хранилище ↗
7. Сборка и запуск ETL-пайплайна ↗

Трансформации с Data Build Tool (dbt)

10 уроков
1. Начало работы с dbt ↗
2. Создание staging-слоя в dbt: первые модели ↗
3. Слой staging: продолжение ↗
4. Слой core: таблицы измерений ↗
5. Слой core: snapshots, таблицы фактов ↗
6. Возможности dbt: макросы, seeds ↗
7. Возможности dbt: тесты ↗
8. Слой marts: витрины данных ↗
9. Adhoc-запросы, документация ↗
10. Введение в CI/CD ↗

Анализ данных с Jupyter Notebook

2 урока
1. Настройка и ознакомление с Jupyter Notebook ↗
2. Введение в исследовательский анализ данных в Jupyter ↗

Визуализация в Apache Superset

3 урока
1. Подключение и настройка Apache Superset ↗
2. Построение графиков ↗
3. Создание дашборда ↗

Оркестрация с Apache Airflow

3 урока
1. Подключение Apache Airflow, знакомство с интерфейсом ↗
2. Создание и запуск DAG ↗
3. Хуки, XCom, переменные в Airflow ↗

Знакомство с Grafana и Prometheus: системный мониторинг проекта

4 урока
1. Настройка и ознакомление ↗
2. Дашборд в Grafana: PromQL-запросы и мониторинг нагрузки ↗
3. Уведомления ↗
4. Хранение метрик Prometheus, система агрегации логов Loki ↗

Основы работы с Apache Kafka

3 урока
1. Настройка сервиса, основные понятия ↗
2. Принцип работы Kafka, Producer, Consumer ↗
3. Мониторинг работы Kafka с помощью Grafana и Prometheus ↗

Объектное хранилище MinIO: альтернатива для сырых данных

2 урока
1. MinIO: подключаем объектное хранилище ↗
2. Работа с MinIO: чтение, хранение данных и версионирование ↗

Работа с Apache Iceberg, использование Trino

3 урока
1. Настройка инфраструктуры ↗
2. Пишем ETL для Iceberg ↗
3. Версионирование, dbt-проект для Apache Iceberg ↗

Заключение

1 урок
1. Заключение ↗