Чему вы научитесь
- Запускать локальный Spark-стенд и работать с Jupyter notebooks.
- Читать CSV с заданной схемой, проверять ключи, типы, даты и NULL.
- Объяснять, когда Spark запускает вычисление и почему появляется shuffle.
- Читать физический план и находить в нём чтение, фильтр и Exchange.
- Связывать action в notebook с Job, Stage и Task в Spark UI.
- Проверять результат обработки на исходных строках и альтернативном входе.
- Находить место ошибки по сообщению, плану, UI и логам.
О курсе
Для кого этот курс
Преподаватели курса
2 817
Как проходит обучение
Идёшь по урокам последовательно. Сначала читаешь подробный разбор в нескольких текстовых шагах Stepik, смотришь код, схему и реальные кадры из Jupyter или Spark UI. Затем отвечаешь на вопросы по наблюдаемому результату.
Notebook скачиваешь из вложения урока и открываешь в локальном JupyterLab. Ячейки короткие: перед новой операцией написано, что запустить и на что посмотреть. После показанного примера выполняешь самостоятельную задачу. В технических уроках есть части A и B; локальные проверки вызывают твоё решение на основном и другом входе.
Ответы на вопросы Stepik проверяются платформой. Проверки в notebook работают локально и не отправляют код на Stepik. Обязательных ручных сдач нет. Лаборатории с поломанными jobs станут следующим этапом после завершения и проверки их материалов.
Что вы получите
- ZIP локального Spark-стенда с инструкциями по установке, запуску и типовым ошибкам.
- Jupyter notebooks с показанными опытами, самостоятельными задачами и локальной проверкой.
- Фиксированные учебные CSV и воспроизводимые примеры для сравнения кода, плана и Spark UI.
- Подробные текстовые уроки, схемы, скриншоты и вопросы Stepik с автоматической проверкой.