Курс на Stepik
Обложка курса «Первые шаги в Data Engineering: проект с нуля» на Stepik
1 490 ₽

Первые шаги в Data Engineering: проект с нуля 0.000

Открыть на
STEPIK.ORG

Практический курс по инженерии данных для начинающих. Постройте полноценный конвейер данных уровня Junior Data Engineer: от ETL и баз данных до оркестрации, мониторинга и дашбордов. Реальный проект с использованием PostgreSQL, dbt, Airflow, Kafka, Superset, Grafana, а также гибридного хранилища на MinIO и Apache Iceberg.

Показатель Текущие показатели Рост
Значение 🏆 Рейтинг 3 дн 7 дн 30 дн
Количество учеников на курсе «Первые шаги в Data Engineering: проект с нуля»Учеников на курсе 5
Сертификаты, выданные на курсе «Первые шаги в Data Engineering: проект с нуля»Сертификатов выдано 0
Отзывы о курсе «Первые шаги в Data Engineering: проект с нуля»Отзывов получено 0
Рейтинг курса «Первые шаги в Data Engineering: проект с нуля»Рейтинг курса 0.000
Уроки в курсе «Первые шаги в Data Engineering: проект с нуля»Количество уроков 46
Тесты в курсе «Первые шаги в Data Engineering: проект с нуля»Количество квизов 369
Время прохождения курса «Первые шаги в Data Engineering: проект с нуля»Время прохождения курса
Стоимость курса «Первые шаги в Data Engineering: проект с нуля»Стоимость курса 1 490 ₽
Обновления курса «Первые шаги в Data Engineering: проект с нуля»Обновления курса
Дата публикации курса «Первые шаги в Data Engineering: проект с нуля»Дата публикации курса
Последнее обновление курса «Первые шаги в Data Engineering: проект с нуля»Последнее обновление
Сложность easy

Содержание курса

Разделы в курсе «Первые шаги в Data Engineering: проект с нуля» 13 разделов Уроки в курсе «Первые шаги в Data Engineering: проект с нуля» 46 уроков Тесты в курсе «Первые шаги в Data Engineering: проект с нуля» 369 тестов Время прохождения курса «Первые шаги в Data Engineering: проект с нуля» 0 ч. Последнее обновление курса «Первые шаги в Data Engineering: проект с нуля» обн. 22 августа 2026

Введение

1 урок
1. Введение

Подготовка рабочего окружения

3 урока
1. Установка программ
2. Установка Git, регистрация на GitHub
3. Настройка Git, SSH-ключи, .gitignore

Docker Compose и база данных PostgreSQL

4 урока
1. Базы данных, хранилища и озёра данных
2. Docker Compose: поднимаем PostgreSQL
3. Задания к Уроку "Docker Compose: поднимаем PostgreSQL"
4. Подключение к базе данных

ETL и ELT

7 уроков
1. Разница ETL и ELT
2. Извлечение данных разных форматов
3. Начало работы с API
4. Добавляем тесты
5. Продолжение работы с API
6. Трансформация и загрузка данных в хранилище
7. Сборка и запуск ETL-пайплайна

Трансформации с Data Build Tool (dbt)

10 уроков
1. Начало работы с dbt
2. Создание staging-слоя в dbt: первые модели
3. Слой staging: продолжение
4. Слой core: таблицы измерений
5. Слой core: snapshots, таблицы фактов
6. Возможности dbt: макросы, seeds
7. Возможности dbt: тесты
8. Слой marts: витрины данных
9. Adhoc-запросы, документация
10. Введение в CI/CD

Анализ данных с Jupyter Notebook

2 урока
1. Настройка и ознакомление с Jupyter Notebook
2. Введение в исследовательский анализ данных в Jupyter

Визуализация в Apache Superset

3 урока
1. Подключение и настройка Apache Superset
2. Построение графиков
3. Создание дашборда

Оркестрация с Apache Airflow

3 урока
1. Подключение Apache Airflow, знакомство с интерфейсом
2. Создание и запуск DAG
3. Хуки, XCom, переменные в Airflow

Знакомство с Grafana и Prometheus: системный мониторинг проекта

4 урока
1. Настройка и ознакомление
2. Дашборд в Grafana: PromQL-запросы и мониторинг нагрузки
3. Уведомления
4. Хранение метрик Prometheus, система агрегации логов Loki

Основы работы с Apache Kafka

3 урока
1. Настройка сервиса, основные понятия
2. Принцип работы Kafka, Producer, Consumer
3. Мониторинг работы Kafka с помощью Grafana и Prometheus

Объектное хранилище MinIO: альтернатива для сырых данных

2 урока
1. MinIO: подключаем объектное хранилище
2. Работа с MinIO: чтение, хранение данных и версионирование

Работа с Apache Iceberg, использование Trino

3 урока
1. Настройка инфраструктуры
2. Пишем ETL для Iceberg
3. Версионирование, dbt-проект для Apache Iceberg

Заключение

1 урок
1. Заключение