Курс на Stepik
Обложка курса «Стажировка Data Engineer | Летний поток 2025» на Stepik
29 999 ₽

Стажировка Data Engineer | Летний поток 2025 5.000

Открыть на
STEPIK.ORG

На этой стажировке Вас ждёт практическое погружение в обработку данных: работа с базами данных, потоковая и batch-обработка (Airflow, Kafka, Spark), настройка ETL-пайплайнов и автоматизация загрузки данных. Вы освоите Docker, Pandas, Hive, PySpark, научитесь парсингу, очистке и загрузке данных. Формат включает индивидуальные и командные задачи, имитирующие реальные проекты в сфере Big Data. Предусмотрена приоритетная и индивидуальная поддержка в рамках чата. 15 онлайн вебинаров. Продолжительность - 3.5 мес.

Показатель Текущие показатели Рост
Значение 🏆 Рейтинг 3 дн 7 дн 30 дн
Количество учеников на курсе «Стажировка Data Engineer | Летний поток 2025»Учеников на курсе 56
Сертификаты, выданные на курсе «Стажировка Data Engineer | Летний поток 2025»Сертификатов выдано 0
Отзывы о курсе «Стажировка Data Engineer | Летний поток 2025»Отзывов получено 7
Рейтинг курса «Стажировка Data Engineer | Летний поток 2025»Рейтинг курса 5.000
Уроки в курсе «Стажировка Data Engineer | Летний поток 2025»Количество уроков 66
Тесты в курсе «Стажировка Data Engineer | Летний поток 2025»Количество квизов 216
Задачи с кодом в курсе «Стажировка Data Engineer | Летний поток 2025»Количество задач с кодом 11
Время прохождения курса «Стажировка Data Engineer | Летний поток 2025»Время прохождения курса
Стоимость курса «Стажировка Data Engineer | Летний поток 2025»Стоимость курса 29 999 ₽
Обновления курса «Стажировка Data Engineer | Летний поток 2025»Обновления курса
Дата публикации курса «Стажировка Data Engineer | Летний поток 2025»Дата публикации курса
Последнее обновление курса «Стажировка Data Engineer | Летний поток 2025»Последнее обновление
Сложность normal

Содержание курса

Разделы в курсе «Стажировка Data Engineer | Летний поток 2025» 11 разделов Уроки в курсе «Стажировка Data Engineer | Летний поток 2025» 66 уроков Тесты в курсе «Стажировка Data Engineer | Летний поток 2025» 216 тестов Задачи в курсе «Стажировка Data Engineer | Летний поток 2025» 11 задач Время прохождения курса «Стажировка Data Engineer | Летний поток 2025» 16 ч. Последнее обновление курса «Стажировка Data Engineer | Летний поток 2025» обн. 29 мая 2026

Первые действия

2 урока
1. Купили, что дальше?
2. Телеграмм каналы

Организация работы

6 уроков
1. Цели стажировки
2. Знакомство с преподавателями
3. Расписание стажировки
4. Вводное тестирование. Часть 1.
5. Вводное тестирование. Часть 2.
6. Вебинар 1. Организационный

Введение в проектную работу

4 урока
1. Как строится работа в команде на стажировке + теория GIT
2. Кто и почему проверяет задания?
3. Вебинар 2. Создание GIT репозитория и проверка задач
4. Задание. Создание личных и командных репозиториев

Работа с базами данных

10 уроков
1. Образ, который нам понадобится
2. Задание. Работа с PostgreSQL
3. Задание. Работа с Clickhouse
4. Самостоятельные задания на определение движка таблиц
5. Вебинар 3. Обсуждаем задачи PG и CH
6. Что такое NoSQL и в чем его суть?
7. Задание. Работа с NoSQL
8. Репликация NoSQL
9. Работа с Trino
10. Вебинар 4. Обсуждаем задачи NoSQL

Потоковая обработка данных + настройка алертов

6 уроков
1. Введение в streaming
2. Задание. Kafka против дубликатов
3. Аларм!
4. Что такое Debezium?
5. Stateful и Stateless. Введение в Spark Streaming
6. Вебинар 5. Обсуждаем задачи Kafka

Батчовая обработка данных + настройка grafana

6 уроков
1. Что такое HDFS? Особенности.
2. Самостоятельное задание на работу с HDFS/BASH
3. Объектные хранилища: что это и как с ними работать?
4. Создание дашбордов Grafana и основные метрики проверки данных
5. Задание. Объектное хранилище - расширение функционала клиента.
6. Вебинар 6. Строим ETL процессы и настраиваем мониторинг

Работа с инструментами Big Data

13 уроков
1. Что такое Hive? Особенности
2. Что такое Iceberg? Slowly Changing Dimensions.
3. Вебинар 7. Работаем с HDFS/HIVE
4. Установка Spark, архитектура и структуры
5. Что такое преобразования в RDD?
6. Что такое действия в RDD?
7. Что такое преобразования и действия в Dataframe?
8. SparkSQL on Dataframes
9. Вебинар 8. Работаем с PySparkSQL
10. Работа с функциями PySpark
11. Практика PySpark
12. Задание. Финалим работу с PySpark
13. Вебинар 9. Работаем с PySpark

Практическое изучение Airflow

7 уроков
1. Введение в оркестрацию данных!
2. Что такое переменные и таски? Виды тасок
3. Что такое connections, xcom, sensors?
4. Вебинар 10. Практика Airflow
5. Задание. Реализация генератора DAGs
6. Миграция больших данных
7. Вебинар 11. Задача миграции

Знакомство с парсингом, очистка и загрузка данных

6 уроков
1. Парсинг: введение
2. Requests, BeautifulSoup
3. Задание. Разработка простого парсера.
4. Scrapy, Selenium
5. Задание. Разработка продвинутого парсера.
6. Вебинар 12. Парсинг

Реализация итогового проекта и его защита

5 уроков
1. Резюмируем вышесказанное
2. Вебинар 13. Обсуждение заданий итоговых проектов
3. Закрытый итоговый проект №1. Пикча
4. Открытый итоговый проект №2. Система миграции данных
5. Вебинар 14. Публичная защита проектов

Дальнейшее трудоустройство

1 урок
1. Вебинар 15. Обсуждение трудоустройства