Содержание пакета (2 курса)
1. PySpark с нуля 5.00
Знакомство с платформой и сдача практических задач
1 урок
1.
Введение в курс и платформу
↗
Введение в Spark и основы распределенных вычислений
6 уроков
1.
Что такое Apache Spark и его место в экосистеме Big Data
↗
2.
Архитектура Spark: драйвер, исполнители, кластерные менеджеры
↗
3.
Чем Spark лучше Hadoop MapReduce? Отложенные вычисления
↗
4.
Обзор PySpark API и его особенностей
↗
5.
Установка и настройка Spark
↗
6.
Первый запуск PySpark
↗
Работа с данными в PySpark: RDD
6 уроков
1.
Что такое RDD (Resilient Distributed Dataset)
↗
2.
Преобразования
↗
3.
Действия
↗
4.
Практическое задание
↗
5.
Самостоятельная работа
↗
6.
Итоговое задание
↗
Работа с данными в PySpark: DataFrame и Spark SQL
11 уроков
1.
DataFrame в PySpark: понятие, схема, создание
↗
2.
Основные операции DataFrame API
↗
3.
Spark SQL
↗
4.
Схемы данных и типы
↗
5.
Встроенные функции PySpark
↗
6.
User Defined Functions
↗
7.
Форматы: Avro, Parquet, ORC
↗
8.
Pandas API
↗
9.
Практическое задание
↗
10.
Самостоятельная работа
↗
11.
Итоговое задание
↗
Оптимизация производительности PySpark-приложений
8 уроков
1.
Широкие и узкие преобразования, shuffle
↗
2.
Партиционирование
↗
3.
Анализ плана выполнения (explain), стратегии JOIN
↗
4.
Обработка неравномерных данных (Data Skew)
↗
5.
Кэширование (cache, persist) и контрольные точки (checkpoint)
↗
6.
Catalyst Optymizer
↗
7.
Tungsten Execution Engine
↗
8.
Итоговое задание
↗
Потоковая обработка с PySpark Structured Streaming
6 уроков
1.
Введение в PySpark Streaming
↗
2.
Источники данных для Structured Streaming
↗
3.
Вывод данных, Режимы вывода и Триггеры
↗
4.
Управление состоянием и временем
↗
5.
Самостоятельная работа
↗
6.
Итоговое задание
↗
Машинное обучение с PySpark MLlib
6 уроков
1.
Введение в PySpark ML
↗
2.
Предварительная обработка данных
↗
3.
Основные алгоритмы машинного обучения в PySpark ML
↗
4.
Оценка моделей в PySpark ML
↗
5.
Кросс-валидация и подбор гиперпараметров
↗
6.
Построение и оценка ML Pipelines
↗
Интеграция PySpark с внешними системами
1 урок
1.
Знакомство с хранилищами данных для работы с PySpark
↗
Отладка и профилирование PySpark-приложений
1 урок
1.
Как устранять ошибки?
↗
Чеклисты и шпаргалки по PySpark
1 урок
1.
Основные приемы
↗
Продвинутые темы PySpark
1 урок
1.
Что такое DeltaLake?
↗
Финальные проекты
1 урок
1.
Варианты итоговых работ
↗
2. SQLAlchemy для всех 3.50
Вводные темы
6 уроков
1.
Введение в ООП
↗
2.
IDE
↗
3.
Docker
↗
4.
DBeaver
↗
5.
Подключение к базе данных
↗
6.
Тестирование по модулю
↗
Введение в SQLAlchemy
6 уроков
1.
Что такое SQLAlchemy?
↗
2.
Основные концепции ORM
↗
3.
Установка и настройка SQLAlchemy
↗
4.
Определение моделей
↗
5.
Работа с таблицами
↗
6.
Тестирование по модулю
↗
CRUD операции
6 уроков
1.
MVC
↗
2.
CRUD
↗
3.
Создание записей
↗
4.
Чтение записей
↗
5.
Обновление и удаление записей
↗
6.
Тестирование по модулю
↗
Миграции
4 урока
1.
Основы миграций с Alembic
↗
2.
Создание и применение миграций
↗
3.
Управление версиями базы данных
↗
4.
Тестирование по модулю
↗
Тестирование с SQLAlchemy
4 урока
1.
Стратегии тестирования баз данных
↗
2.
Использование тестовых баз данных
↗
3.
Best Practices тестирования
↗
4.
Тестирование по модулю
↗
Запросы к базе данных
4 урока
1.
Основы запросов с Query API
↗
2.
Фильтрация и сортировка результатов
↗
3.
Использование агрегатных функций
↗
4.
Тестирование по модулю
↗
Связи между моделями
4 урока
1.
Один-ко-многим
↗
2.
Один-к-одному
↗
3.
Многие-ко-многим
↗
4.
Тестирование по модулю
↗
Работа с транзакциями
2 урока
1.
Понимание транзакций
↗
2.
Тестирование по модулю
↗
пет-о-Pets
4 урока
1.
Модели
↗
2.
Генератор данных
↗
3.
Модели upd.
↗
4.
GUI
↗
Оптимизация производительности
3 урока
1.
Lazy и eager loading
↗
2.
Индексы и их использование
↗
3.
Кэширование запросов
↗
Безопасность и защита данных
3 урока
1.
Защита от SQL-инъекций
↗
2.
Шифрование и хранение паролей
↗
3.
Аудит и логирование операций
↗
Расширенные возможности SQLAlchemy
2 урока
1.
Использование пользовательских типов данных
↗
2.
Создание и использование функций базы данных
↗
Востребованность SQLAlchemy
5 уроков
1.
Backend
↗
2.
Data Engineer
↗
3.
Data Analyst
↗
4.
DevOps / DBA
↗
5.
QA Automation
↗
Итоговый проект
4 урока
1.
Easy
↗
2.
Medium
↗
3.
Hard
↗
4.
Наши курсы
↗