Курс на Stepik
Обложка курса «Spark: от основ до расследования инцидентов» на Stepik
15 000 ₽

Spark: от основ до расследования инцидентов ★ 0.000

Открыть на
STEPIK.ORG

Курс по Spark с фокусом на инженерных инцидентах. Начнёшь с небольших CSV и практики в Jupyter, затем научишься читать физический план и Spark UI, связывать код с Jobs, Stages и Tasks. Лаборатории с поломанными jobs и диагностикой ошибок готовятся; первые три модуля подготовлены локально.

Показатель Текущие показатели Рост
Значение 🏆 Рейтинг 3 дн 7 дн 30 дн
Количество учеников на курсе «Spark: от основ до расследования инцидентов»Учеников на курсе 1
Сертификаты, выданные на курсе «Spark: от основ до расследования инцидентов»Сертификатов выдано 0
Отзывы о курсе «Spark: от основ до расследования инцидентов»Отзывов получено 0
Рейтинг курса «Spark: от основ до расследования инцидентов»Рейтинг курса 0.000
Уроки в курсе «Spark: от основ до расследования инцидентов»Количество уроков 37
Тесты в курсе «Spark: от основ до расследования инцидентов»Количество квизов 66
Стоимость курса «Spark: от основ до расследования инцидентов»Стоимость курса 15 000 ₽ —
Обновления курса «Spark: от основ до расследования инцидентов»Обновления курса — —
Дата публикации курса «Spark: от основ до расследования инцидентов»Дата публикации курса — ———
Последнее обновление курса «Spark: от основ до расследования инцидентов»Последнее обновление — ———
Сложность easy — ———

Содержание курса

Разделы в курсе «Spark: от основ до расследования инцидентов» 7 разделов Уроки в курсе «Spark: от основ до расследования инцидентов» 37 уроков Тесты в курсе «Spark: от основ до расследования инцидентов» 66 тестов Последнее обновление курса «Spark: от основ до расследования инцидентов» обн. 5 октября 2026

Зачем Spark и как начать

4 урока
1. Зачем нужен Spark ↗
2. Установка и запуск стенда ↗
3. Работа в Jupyter ↗
4. Spark-приложение и его компоненты ↗

DataFrame и первое выполнение

7 уроков
1. Первое Spark-приложение ↗
2. CSV, схема и ключ данных ↗
3. Transformations, actions и lazy execution ↗
4. Фильтры, даты и NULL ↗
5. Агрегация и первый shuffle ↗
6. DataFrame API и Spark SQL ↗
7. Типы и встроенные выражения ↗

План выполнения и Spark UI

6 уроков
1. Уровни плана выполнения ↗
2. Application, Job, Stage и Task ↗
3. Партиции и параллелизм ↗
4. Narrow и wide transformations ↗
5. Повторные actions, cache и persist ↗
6. Ресурсы, ошибки и логи ↗

Файлы, MinIO и Parquet

5 уроков
1. MinIO и доступ через S3 ↗
2. CSV и Parquet ↗
3. partitionBy и структура каталогов ↗
4. Pruning и pushdown ↗
5. Repartition, coalesce и маленькие файлы ↗

Join: корректность и стратегия

7 уроков
1. Ключи и кардинальность join ↗
2. Типы join и несовпавшие ключи ↗
3. SortMergeJoin ↗
4. BroadcastHashJoin ↗
5. Статистики и AQE ↗
6. Перекос данных и медленные Tasks ↗
7. Оконные функции ↗

Инженерные инциденты

6 уроков
1. Приложение не видно в кластере ↗
2. Метрика выросла после join ↗
3. Одна Task задерживает Stage ↗
4. Join создал неожиданный shuffle ↗
5. Фильтр периода читает лишние данные ↗
6. Запись создала слишком много файлов ↗

Финальное расследование

2 урока
1. Диагностический маршрут ↗
2. Неизвестный инцидент ↗