Содержание курса
1. Введение в Data Engineering
4 урока
644
393
46м
12
Закрытый
1.1
Введение в курс
↗
138
138
1м 40с
5
Открытый
1.2
Роль инженера данных
↗
181
103
17м 50с
2
Открытый
1.3
Обзор инструментов: Kafka, Airflow, Spark
↗
170
93
13м 7с
2
Открытый
1.4
Среда разработки и инструменты
↗
155
59
15м 24с
3
2. Apache Kafka — основы
4 урока
421
79
117м
5
Открытый
2.1
Архитектура и ключевые понятия Kafka
↗
161
27
77м 44с
3
Открытый
2.2
Развёртывание и конфигурация Kafka
↗
106
28
10м 49с
1
Открытый
2.3
Управление топиками и партициями
↗
79
21
14м 13с
0
Открытый
2.4
Продюсеры и консюмеры
↗
75
3
16м 57с
1
3. Apache Kafka — продвинутые темы
4 урока
202
12
12м
0
Открытый
3.1
Модели доставки и группы консюмеров
↗
64
3
4м 20с
0
Открытый
3.2
Streams API
↗
55
5
3м 20с
0
Открытый
3.3
Connect API
↗
45
3
3м 0с
0
Открытый
3.4
Тюнинг и масштабирование Kafka
↗
38
1
2м 46с
0
4. Apache Airflow — основы
4 урока
264
16
23м
3
Открытый
4.1
Концепция DAG и организация кодовой базы
↗
91
5
7м 26с
1
Открытый
4.2
Операторы и сенсоры
↗
60
5
5м 19с
1
Открытый
4.3
Планирование и параметры DAG
↗
56
4
7м 48с
1
Открытый
4.4
Переменные, подключения и XCom
↗
57
2
3м 22с
0
5. Apache Airflow — продвинутые возможности
4 урока
159
7
9м
0
Открытый
5.1
Управление зависимостями и надёжность
↗
47
2
4м 36с
0
Открытый
5.2
Пользовательские операторы, сенсоры и плагины в Airflow
↗
35
2
2м 30с
0
Открытый
5.3
Интеграция Airflow с внешними сервисами
↗
43
1
3м 40с
0
Открытый
5.4
Мониторинг, интерфейс Airflow и best practices
↗
34
2
2м 43с
0
6. Apache Spark — основы
4 урока
182
26
37м
1
Открытый
6.1
Архитектура Apache Spark и RDD
↗
71
4
4м 42с
1
Открытый
6.2
Spark SQL, DataFrame и Dataset
↗
57
17
1м 22с
0
Закрытый
6.3
Join’ы и перекос данных: производительность без магии
↗
25
3
23м 51с
0
Закрытый
6.4
Lakehouse с Delta/Iceberg: upsert, compaction, time-travel
↗
29
2
9м 26с
0
7. Apache Spark — потоковая обработка и интеграция с Kafk
4 урока
151
54
3м
0
Открытый
7.1
Введение в Structured Streaming
↗
44
44
1м 44с
0
Открытый
7.2
Чтение и запись данных из Kafka
↗
44
7
0м 22с
0
Открытый
7.3
Оконные операции и управление временем
↗
43
2
1м 0с
0
Закрытый
7.4
Stateful-операции и stream-static join
↗
20
1
1м 53с
0
8. Проектный модуль: end‑to‑end пайплайн
1 урок
85
0
0м
0
Открытый
8.1
Итоговый проект: построение пайплайна
↗
85
0
0м 30с
0