Чему вы научитесь
Как стать Senior Data Engineer за 3 года и не сойти с ума
Курс входит в линейку материалов канала Логово Дата-Инженера. Автор канала — Дима, Senior Data Engineer в Сбере. В канале публикуются hard-skill материалы по Data Engineering, разборы live-собеседований, заметки по архитектуре Enterprise-проектов и практические карты роста от junior до senior.
О курсе
Apache Spark на Scala — практический курс для тех, кто уже знает основы Scala и хочет уверенно работать со Spark в задачах дата-инженерии: читать, трансформировать, агрегировать, соединять, оптимизировать и сопровождать пайплайны данных.
Что внутри
- 20 модулей и 130 уроков: от архитектуры Spark до итогового ETL-проекта.
- 646 тестовых вопросов для самопроверки.
- 479 практических задач и разборов решений.
- DataFrame, Dataset, Spark SQL, RDD, shuffle, join, partitioning, caching, AQE, Structured Streaming и production-настройки.
Кому подойдет
Дата-инженерам, backend-разработчикам и аналитикам, которые уже знакомы с базовым программированием и хотят перейти от учебных примеров к реальным Spark-пайплайнам.
Формат
Самостоятельное прохождение по схеме: теория, примеры на Scala/Spark, тест для самопроверки и практические задачи с решениями. Оценочная нагрузка: 90-130 часов.
Результат
После курса студент сможет запускать Spark-приложения, работать с DataFrame и Dataset API, читать Spark UI, выбирать join-стратегии, разбираться с shuffle и перекосом данных, строить batch/streaming-пайплайны и доводить Spark-задачи до production-уровня.
Telegram
Разборы по Spark, Kafka, Flink, Hadoop, Airflow, ClickHouse, S3, Docker/K8s, Python/Scala, live-собеседования и архитектура Enterprise-проектов публикуются в канале Логово Дата-Инженера.
37