Чему вы научитесь
- Переносить привычные операции pandas в Spark DataFrame API
- Читать план выполнения и отличать трансформации от actions
- Управлять партициями и не создавать shuffle без необходимости
- Выбирать стратегию JOIN, включая broadcast join
- Считать ранги, лаги и накопительные итоги оконными функциями
- Замечать перекос данных и понимать, почему задача тормозит
О курсе
Бесплатный курс по PySpark для аналитиков: переход от pandas к распределённым вычислениям. DataFrame API, партиционирование, shuffle, джойны и оконные функции на терабайтных данных.
Для кого этот курс
- — Аналитик данных, упёршийся в потолок pandas
- — Продуктовый аналитик, который считает метрики по сэмплу, потому что полные данные не тянутся
- — BI- и дата-аналитик, которому выдали доступ к Spark-кластеру и оставили разбираться
- — SQL-аналитик, переходящий на большие данные
- — Тот, кто устал зависеть от дата-инженеров в каждой второй задаче
Кому не подойдёт: курс не про дата-инженерию. Если нужны Scala, настройка YARN, деплой и администрирование кластеров — это не сюда. Здесь рабочий процесс аналитика: чистка данных, метрики, Data Quality, оптимизация. Разбор «кому подойдёт» — на zasqlpython.ru.
Начальные требования
- — Python на уровне уверенного pandas:
DataFrame,groupby,merge - — Базовый SQL:
SELECT,JOIN,GROUP BY, агрегаты - — Готовность решать задачи руками — теории здесь меньше, чем практики
Что не нужно: Scala, Java, Hadoop, собственный кластер и установка Spark. Всё работает в бесплатном Google Colab — достаточно браузера. Материалы для подготовки и шпаргалки по pandas и SQL: zasqlpython.ru.
Преподаватели курса
2 852
Как проходит обучение
Теория короткими шагами, тесты и задачи на код с автоматической проверкой. Практика в Colab: всё запускается в браузере, ставить ничего не нужно.
Нагрузка
18–22 часа: 339 шагов, 44 задачи