Курс на Stepik
Обложка курса «Профессия Data Engineer с нуля до junior» на Stepik
108 000 ₽

Профессия Data Engineer с нуля до junior ★ 4.872

Открыть на
STEPIK.ORG

Курс для погружения в IT направление "Большие данные". Большие данные - это актуальное и перспективное направление, которое развивается за счет слаженной работы нескольких профессий. На курсе Вы сможете получить знания, которые позволят Вам стать разработчиком больших данных. По окончании курса Вам будет предложено решить финальное задание на выбор, которое пойдет в Ваше портфолио и отразит все знания, полученные на курсе. На протяжении всего курса Вам будет доступен чат в тг.

Показатель Текущие показатели Рост
Значение 🏆 Рейтинг 3 дн 7 дн 30 дн
Количество учеников на курсе «Профессия Data Engineer с нуля до junior»Учеников на курсе 3 166
Сертификаты, выданные на курсе «Профессия Data Engineer с нуля до junior»Сертификатов выдано 180
Отзывы о курсе «Профессия Data Engineer с нуля до junior»Отзывов получено 39
Рейтинг курса «Профессия Data Engineer с нуля до junior»Рейтинг курса 4.872
Уроки в курсе «Профессия Data Engineer с нуля до junior»Количество уроков 174
Тесты в курсе «Профессия Data Engineer с нуля до junior»Количество квизов 367
Задачи с кодом в курсе «Профессия Data Engineer с нуля до junior»Количество задач с кодом 112
Время прохождения курса «Профессия Data Engineer с нуля до junior»Время прохождения курса —
Стоимость курса «Профессия Data Engineer с нуля до junior»Стоимость курса 108 000 ₽ —
Обновления курса «Профессия Data Engineer с нуля до junior»Обновления курса — —
Дата публикации курса «Профессия Data Engineer с нуля до junior»Дата публикации курса — ———
Последнее обновление курса «Профессия Data Engineer с нуля до junior»Последнее обновление — ———
Сложность easy — ———

Содержание курса

Разделы в курсе «Профессия Data Engineer с нуля до junior» 25 разделов Уроки в курсе «Профессия Data Engineer с нуля до junior» 174 урока Тесты в курсе «Профессия Data Engineer с нуля до junior» 367 тестов Задачи в курсе «Профессия Data Engineer с нуля до junior» 112 задач Время прохождения курса «Профессия Data Engineer с нуля до junior» 50 ч. Последнее обновление курса «Профессия Data Engineer с нуля до junior» обн. 24 мая 2026

1. Знакомство с платформой и сдача практических задач

2 урока
Закрытый
1.1 Введение в курс ↗
2 701
342
27м 24с
224
Закрытый
1.2 Сдача практических задач и знакомство с платформой ↗
2 441
2 280
7м 6с
77

2. Что такое информация, данные и BigData?

8 уроков
Закрытый
2.1 Что такое информация? Основные виды. Операции над информацией ↗
2 160
1 905
10м 36с
99
Закрытый
2.2 Где можно хранить информацию? Обзор основных форматов ↗
2 020
1 889
6м 26с
66
Закрытый
2.3 Чем вызвано появление Big Data? История направления ↗
1 978
1 863
4м 40с
48
Закрытый
2.4 Основные свойства больших данных ↗
1 964
1 852
4м 59с
64
Закрытый
2.5 Как хранят и обрабатывают большие данные? ↗
1 958
1 879
7м 3с
84
Закрытый
2.6 Что такое ETL/ELT процессы? Batch/Streaming обработка данных ↗
1 992
1 846
10м 56с
115
Закрытый
2.7 На кого мы с Вами учимся? Что за Data Engineer такой ↗
1 929
1 838
3м 46с
70
Закрытый
2.8 Реальные примеры того, как Big Data используется в жизни ↗
1 917
1 794
12м 9с
83

3. Теория баз данных

9 уроков
Закрытый
3.1 Введение в базы данных ↗
2 136
1 808
8м 25с
93
Закрытый
3.2 Виды баз данных ↗
2 095
1 753
7м 26с
67
Закрытый
3.3 Что такое OLAP и OLTP? ↗
1 925
1 748
5м 15с
60
Закрытый
3.4 Что такое таблица и из каких элементов она состоит? ↗
1 833
1 700
7м 4с
63
Закрытый
3.5 Свойства ACID и транзакции ↗
2 027
1 728
10м 41с
86
Закрытый
3.6 Реляционная алгебра, круги Эйлера, диаграммы Венна ↗
1 776
1 583
10м 12с
70
Закрытый
3.7 Что такое ключи, зачем они нужны и какие виды есть? ↗
1 740
1 591
8м 57с
68
Закрытый
3.8 Виды связей таблиц ↗
2 010
1 577
8м 11с
86
Закрытый
3.9 Нормализация, нормальные формы и их виды ↗
2 024
1 594
8м 4с
34

4. Обустраиваем рабочее место | Docker | VB

5 уроков
Закрытый
4.1 Организация рабочего места ↗
1 789
1 627
12м 40с
71
Закрытый
4.2 Вариант 1: Виртуальная машина на базе VirtualBox ↗
1 651
1 188
3м 7с
51
Открытый
4.3 Вариант 2: Docker ↗
2 243
1 454
32м 30с
98
Закрытый
4.4 Тесты по Docker ↗
1 468
1 225
2м 24с
28
Закрытый
4.5 Итоговое задание ↗
1 377
562
81м 17с
7

5. Введение в SQL

14 уроков
Закрытый
5.1 История создания SQL и его диалекты ↗
1 743
1 518
18м 20с
71
Закрытый
5.2 Начало работы с PostgreSQL в PGAdmin4 ↗
1 673
1 121
29м 33с
81
Закрытый
5.3 SELECT ↗
1 579
1 340
19м 46с
74
Закрытый
5.4 Агрегатные функции ↗
1 456
1 269
12м 26с
53
Закрытый
5.5 Order By и Group By ↗
1 416
1 182
19м 49с
62
Закрытый
5.6 Подзапросы ↗
1 379
1 076
37м 54с
59
Закрытый
5.7 Union vs Union ALL ↗
1 346
1 136
16м 33с
59
Закрытый
5.8 Различные виды Join'ов и их разница ↗
1 324
998
60м 11с
63
Закрытый
5.9 Оконные функции ↗
1 360
961
60м 18с
78
Закрытый
5.10 Транзакции ↗
1 143
1 143
7м 54с
29
Закрытый
5.11 Решаем реальные задачи ↗
1 339
1 213
22м 35с
45
Закрытый
5.12 Задания по SQL v2 проверка результата ↗
977
480
95м 21с
31
Закрытый
5.13 PostgreSQL в облачной инфраструктуре Yandex Cloud ↗
680
547
7м 5с
20
Открытый
5.14 Итоговое задание ↗
1 633
685
39м 25с
25

6. Система контроля версий GIT

8 уроков
Закрытый
6.1 Что такое Git? Регистрация на GitHub ↗
1 381
1 144
14м 43с
55
Закрытый
6.2 Создание репозитория ↗
1 247
1 110
3м 24с
46
Закрытый
6.3 Соединяем удаленный и локальный репозиторий ↗
1 076
781
16м 40с
57
Закрытый
6.4 Отправка версий проекта или что такое коммиты ↗
1 126
992
10м 23с
54
Закрытый
6.5 Ветки проекта (branches) ↗
1 080
980
3м 23с
45
Закрытый
6.6 Публикация и редактирование грамотного README.md ↗
1 072
768
7м 20с
58
Закрытый
6.7 Что такое CI/CD и как это работает? ↗
1 047
924
11м 16с
55
Закрытый
6.8 Итоговое задание ↗
1 104
553
31м 51с
16

7. Столбцовые (колоночные) базы данных. Введение в ClickHouse

7 уроков
Закрытый
7.1 Что такое OLAP? Знакомство с ClickHouse ↗
1 428
1 144
23м 40с
82
Закрытый
7.2 Установка подключения к ClickHouse ↗
1 270
1 087
6м 6с
46
Закрытый
7.3 Начало работы с ClickHouse: основные команды и особенности ↗
1 245
1 033
13м 18с
50
Закрытый
7.4 Движки в ClickHouse ↗
1 188
957
25м 47с
60
Закрытый
7.5 Плюсы и минусы ClickHouse ↗
1 115
967
3м 20с
44
Закрытый
7.6 Ресурсы по ClickHouse и дальнейший трек развития ↗
1 128
1 128
0м 17с
45
Закрытый
7.7 ClickHouse в Yandex Cloud. Особенности. ↗
523
424
5м 51с
14

8. DWH - Data WareHouse

5 уроков
Закрытый
8.1 Что такое DWH? ↗
1 161
174
8м 21с
61
Закрытый
8.2 Из чего состоит DWH? ↗
1 109
185
11м 2с
44
Закрытый
8.3 Концептуальный, логический и физический уровень моделирования ↗
1 081
167
7м 37с
42
Закрытый
8.4 Известные модели данных: звезда и снежинка ↗
1 184
149
15м 54с
73
Закрытый
8.5 Что такое DataVault и Anchor Model ↗
1 063
138
12м 12с
38

9. NoSQL хранилища данных

2 урока
Закрытый
9.1 Что такое NoSQL хранилища данных? ↗
1 174
982
7м 23с
45
Закрытый
9.2 Знакомство с основными дистрибутивами NoSQL ↗
1 099
922
19м 13с
67

10. Озера данных

6 уроков
Закрытый
10.1 Что такое озеро данных? ↗
170
170
3м 9с
44
Закрытый
10.2 Сравнение озера данных с обычными базами данных ↗
1 117
143
2м 27с
43
Закрытый
10.3 Актуальность озер данных ↗
1 004
118
6м 19с
42
Закрытый
10.4 Болото данных ↗
990
132
3м 14с
54
Закрытый
10.5 Архитектура озер данных ↗
980
135
7м 57с
53
Закрытый
10.6 S3 хранилища вообще и Yandex Object Storage в частности ↗
591
526
16м 39с
25

11. Введение в Linux | Bash | cURL

6 уроков
Закрытый
11.1 Что такое Linux? Виды дистрибутивов. Windows/Linux/MacOS ↗
797
674
8м 16с
36
Закрытый
11.2 UI интерфейс vs Терминал ↗
733
582
21м 35с
55
Закрытый
11.3 Введение в Bash | Реальные задачи ↗
698
446
58м 6с
39
Закрытый
11.4 Введение в cURL, основные команды ↗
585
442
10м 33с
31
Закрытый
11.5 Облачные виртуальные машины Yandex Cloud ↗
416
339
5м 35с
13
Закрытый
11.6 Итоговое задание ↗
685
223
82м 27с
12

12. Распределенная файловая система HDFS

7 уроков
Закрытый
12.1 Введение в Hadoop ↗
809
809
1м 22с
20
Закрытый
12.2 Что такое Cloudera, ArenaData и зачем они нам нужны? ↗
750
680
3м 3с
25
Закрытый
12.3 Установка HDFS Cloudera через VM (тяжелый способ) ↗
712
712
3м 51с
12
Закрытый
12.4 Установка HDFS через Docker (оптимальный способ) ↗
722
632
3м 18с
24
Закрытый
12.5 Архитектура HDFS и загрузка/выгрузка файла в/из хранилище ↗
704
611
9м 49с
21
Закрытый
12.6 Основные форматы файлов для хранения ↗
654
654
2м 35с
13
Закрытый
12.7 Основные команды HDFS + практика ↗
677
472
12м 37с
23

13. Программирование на Python

14 уроков
Закрытый
13.1 История Python, установка и актуальность в Big Data ↗
1 100
837
15м 22с
45
Закрытый
13.2 Понятие переменной, как правильно именовать объекты, комментарии ↗
1 004
684
2м 57с
46
Закрытый
13.3 Примитивные типы данных в Python ↗
964
509
28м 25с
49
Закрытый
13.4 Введение в строки ↗
891
463
39м 28с
40
Закрытый
13.5 Условный и тернарный оператор, AND/OR, операторы сравнения ↗
821
386
49м 21с
48
Закрытый
13.6 Циклы for и while ↗
758
327
73м 19с
39
Закрытый
13.7 Что такое list, set, dict и tuple? ↗
763
339
58м 18с
39
Закрытый
13.8 Что такое try except? Работа с файлами. ↗
759
457
8м 52с
23
Закрытый
13.9 Знакомство с функциями ↗
554
256
79м 15с
21
Закрытый
13.10 Знакомство с популярными библиотеками ↗
556
292
23м 56с
19
Закрытый
13.11 Введение в ООП ↗
611
315
32м 54с
23
Закрытый
13.12 Как собираются приложения на Python? ↗
580
515
2м 21с
14
Открытый
13.13 Подключаемся к базам данных ↗
1 811
438
7м 56с
28
Закрытый
13.14 Итоговое задание ↗
767
278
86м 31с
15

14. Алгоритмы и сортировки, big O

5 уроков
Закрытый
14.1 Что такое алгоритмы и зачем они нам нужны? ↗
582
448
6м 11с
22
Закрытый
14.2 Оценки алгоритма, big O ↗
539
424
9м 56с
27
Закрытый
14.3 Сортировки в Python ↗
515
361
10м 25с
21
Закрытый
14.4 Реализация популярных алгоритмов на Python ↗
485
330
7м 18с
16
Закрытый
14.5 Где решать задачи на алгоритмы? ↗
488
402
2м 40с
17

15. Обработка данных с использованием движка PySpark

12 уроков
Закрытый
15.1 История создания PySpark, его конкуренты и основные ядра ↗
1 001
778
5м 46с
28
Закрытый
15.2 Настройка и установка PySpark ↗
926
487
26м 46с
34
Закрытый
15.3 Создание Spark Session и сравнение со Spark Context ↗
859
675
6м 11с
28
Закрытый
15.4 Как происходит выполнение задачи в PySpark? ↗
799
637
8м 16с
24
Закрытый
15.5 RDD vs Dataset vs Dataframe ↗
761
568
58м 14с
25
Закрытый
15.6 Действия и преобразования ↗
674
549
5м 49с
25
Закрытый
15.7 Avro vs ORC vs Parquet ↗
652
520
11м 12с
18
Закрытый
15.8 Чтение файлов и запись в rdd/dataframe ↗
636
481
30м 58с
23
Закрытый
15.9 Знакомство с SparkSQL ↗
621
489
7м 54с
33
Открытый
15.10 Как подключиться из PySpark к базам данных? ↗
750
553
7м 56с
13
Закрытый
15.11 Самостоятельная работа ↗
615
409
3м 59с
34
Закрытый
15.12 Итоговое задание ↗
593
195
70м 24с
12

16. Инструменты стека Hadoop

7 уроков
Закрытый
16.1 Что такое Hive, Pig и зачем они нам вообще нужны? Установка. ↗
503
365
6м 53с
23
Закрытый
16.2 Архитектурная особенность Hive ↗
397
344
5м 36с
14
Закрытый
16.3 Работа с HiveQL ↗
379
326
4м 51с
12
Закрытый
16.4 Партицирование vs бакетирование в Hive ↗
367
287
9м 39с
9
Закрытый
16.5 Внешние и внутренние таблицы в Hive ↗
334
274
4м 4с
6
Закрытый
16.6 Что такое Hue? Преимущества и недостатки ↗
333
333
2м 52с
7
Закрытый
16.7 Что такое Yarn? Нужен ли он нам? Конкуренты Yarn. ↗
350
289
9м 11с
11

17. Углубленное изучение Spark

10 уроков
Закрытый
17.1 Что такое Spark Shell? ↗
609
477
3м 12с
23
Закрытый
17.2 Catalyst Optimizer ↗
507
377
7м 53с
18
Закрытый
17.3 Tungsten Execution Engine ↗
459
357
5м 49с
14
Закрытый
17.4 Spark Submit ↗
470
355
3м 5с
13
Закрытый
17.5 Repartition and Coalesce ↗
453
342
20м 15с
16
Закрытый
17.6 Cache vs Persist ↗
420
267
25м 49с
19
Закрытый
17.7 Создание UDF ↗
415
325
3м 47с
16
Закрытый
17.8 Broadcast ↗
411
324
4м 48с
16
Закрытый
17.9 Настраиваем собственный Spark Server в Docker ↗
326
241
3м 17с
10
Закрытый
17.10 Общая работа ↗
453
351
5м 38с
16

18. Программирование на Scala

14 уроков
Закрытый
18.1 Почему именно Scala и введение в функциональное программирование ↗
538
353
3м 43с
17
Закрытый
18.2 Введение в историю языка программирования Scala ↗
429
370
2м 30с
13
Закрытый
18.3 Что такое SBT/Maven ↗
421
298
6м 17с
17
Закрытый
18.4 Установка Scala ↗
396
320
3м 56с
17
Закрытый
18.5 Типы данных ↗
395
285
3м 12с
15
Закрытый
18.6 Переменные ↗
369
235
20м 56с
20
Закрытый
18.7 Основные структуры данных в Scala ↗
323
218
21м 10с
14
Закрытый
18.8 Условный оператор и циклы ↗
300
187
41м 8с
15
Закрытый
18.9 Функции ↗
298
176
26м 27с
17
Закрытый
18.10 Функции высшего порядка, чистые функции ↗
274
171
15м 11с
15
Закрытый
18.11 Анонимные функции ↗
255
203
4м 42с
3
Закрытый
18.12 Каррирование, неявные параметры, частичное применение ↗
258
195
13м 57с
14
Закрытый
18.13 Case классы и трейты ↗
255
191
7м 46с
12
Закрытый
18.14 Итоговое задание ↗
322
101
42м 24с
6

19. Введение в Pandas и работа с API

5 уроков
Закрытый
19.1 Знакомство с Pandas ↗
583
433
6м 58с
24
Закрытый
19.2 Работа с DataFrame и Series ↗
523
386
12м 32с
25
Закрытый
19.3 Манипуляция и очистка данных ↗
466
352
7м 57с
14
Закрытый
19.4 Группировка, агрегация и объединение данных ↗
456
321
8м 14с
19
Закрытый
19.5 Работа с API ↗
582
422
4м 21с
34

20. Оркестраторы рабочих процессов при работе с большими данными

9 уроков
Закрытый
20.1 Что такое графы и какие есть виды ↗
758
568
4м 46с
28
Закрытый
20.2 Оркестраторы, как основа автоматизации ↗
699
525
7м 23с
27
Закрытый
20.3 Oozie vs Airflow ↗
686
516
5м 3с
25
Закрытый
20.4 Установка Airflow. ↗
698
698
2м 14с
19
Закрытый
20.5 Введение в Airflow. Основные понятия: Airflow UI, Sheduling, DAG ↗
684
486
15м 38с
30
Закрытый
20.6 Переменные, подключения и XCOM ↗
602
406
11м 12с
24
Закрытый
20.7 Погружение в операторы Airflow. Sensor операторы ↗
555
362
14м 17с
20
Открытый
20.8 Устанавливаем библиотеки Python в Airflow ↗
846
443
3м 9с
12
Закрытый
20.9 Работа с файлами в Airflow ↗
434
349
2м 7с
15

21. Знакомство с Kafka

3 урока
Закрытый
21.1 Что такое kafka? ↗
731
442
6м 26с
22
Закрытый
21.2 Где применяется kafka? ↗
562
376
10м 55с
20
Закрытый
21.3 Практика c Kafka ↗
562
341
5м 33с
15

22. Мониторинг витрин и приложений

6 уроков
Закрытый
22.1 Мониторинг витрин : качественный и количественный ↗
559
332
14м 10с
20
Закрытый
22.2 Визуализация метрик в Grafana ↗
465
319
3м 53с
20
Закрытый
22.3 Настройка отправки алертов на почту ↗
425
307
3м 43с
14
Открытый
22.4 Настройка отправки алертов в telegram ↗
574
300
2м 11с
21
Закрытый
22.5 Что такое Prometheus и VictoriaMetrics? ↗
400
400
2м 1с
9
Закрытый
22.6 Установка Grafana, создание первых дашбордов ↗
360
308
8м 32с
20

23. Инструменты командной работы

5 уроков
Закрытый
23.1 Сравнение методологий Agile и Kanban ↗
469
344
16м 31с
16
Закрытый
23.2 Основные профессии, устройство команды и зона ответственности ↗
448
321
4м 0с
14
Закрытый
23.3 Jira и Confluence ↗
495
345
2м 37с
12
Закрытый
23.4 Документация витрины ↗
473
334
1м 29с
11
Закрытый
23.5 Грейды data engineer ↗
682
380
3м 51с
13

24. Разбор основных вопросов на собеседованиях

3 урока
Закрытый
24.1 Вопросы на собеседованиях ↗
804
369
33м 35с
31
Закрытый
24.2 Онлайн кодинг и выполнение тестовых заданий ↗
647
352
1м 25с
11
Закрытый
24.3 Как правильно составить резюме? ↗
605
462
0м 29с
6

25. Итоговая работа

2 урока
Открытый
25.1 Обсуждение итогового проекта, его сдача и критерии проверки ↗
1 028
5
17м 2с
33
Закрытый
25.2 Наши другие продукты ↗
374
374
1м 4с
3