Содержание пакета (2 курса)
1. PySpark с нуля 5.00
Знакомство с платформой и сдача практических задач
1 урок
1.
Введение в курс и платформу
↗
Введение в Spark и основы распределенных вычислений
6 уроков
1.
Что такое Apache Spark и его место в экосистеме Big Data
↗
2.
Архитектура Spark: драйвер, исполнители, кластерные менеджеры
↗
3.
Чем Spark лучше Hadoop MapReduce? Отложенные вычисления
↗
4.
Обзор PySpark API и его особенностей
↗
5.
Установка и настройка Spark
↗
6.
Первый запуск PySpark
↗
Работа с данными в PySpark: RDD
6 уроков
1.
Что такое RDD (Resilient Distributed Dataset)
↗
2.
Преобразования
↗
3.
Действия
↗
4.
Практическое задание
↗
5.
Самостоятельная работа
↗
6.
Итоговое задание
↗
Работа с данными в PySpark: DataFrame и Spark SQL
11 уроков
1.
DataFrame в PySpark: понятие, схема, создание
↗
2.
Основные операции DataFrame API
↗
3.
Spark SQL
↗
4.
Схемы данных и типы
↗
5.
Встроенные функции PySpark
↗
6.
User Defined Functions
↗
7.
Форматы: Avro, Parquet, ORC
↗
8.
Pandas API
↗
9.
Практическое задание
↗
10.
Самостоятельная работа
↗
11.
Итоговое задание
↗
Оптимизация производительности PySpark-приложений
8 уроков
1.
Широкие и узкие преобразования, shuffle
↗
2.
Партиционирование
↗
3.
Анализ плана выполнения (explain), стратегии JOIN
↗
4.
Обработка неравномерных данных (Data Skew)
↗
5.
Кэширование (cache, persist) и контрольные точки (checkpoint)
↗
6.
Catalyst Optymizer
↗
7.
Tungsten Execution Engine
↗
8.
Итоговое задание
↗
Потоковая обработка с PySpark Structured Streaming
6 уроков
1.
Введение в PySpark Streaming
↗
2.
Источники данных для Structured Streaming
↗
3.
Вывод данных, Режимы вывода и Триггеры
↗
4.
Управление состоянием и временем
↗
5.
Самостоятельная работа
↗
6.
Итоговое задание
↗
Машинное обучение с PySpark MLlib
6 уроков
1.
Введение в PySpark ML
↗
2.
Предварительная обработка данных
↗
3.
Основные алгоритмы машинного обучения в PySpark ML
↗
4.
Оценка моделей в PySpark ML
↗
5.
Кросс-валидация и подбор гиперпараметров
↗
6.
Построение и оценка ML Pipelines
↗
Интеграция PySpark с внешними системами
1 урок
1.
Знакомство с хранилищами данных для работы с PySpark
↗
Отладка и профилирование PySpark-приложений
1 урок
1.
Как устранять ошибки?
↗
Чеклисты и шпаргалки по PySpark
1 урок
1.
Основные приемы
↗
Продвинутые темы PySpark
1 урок
1.
Что такое DeltaLake?
↗
Финальные проекты
1 урок
1.
Варианты итоговых работ
↗
2. Python Engineer с нуля до junior 4.91
Общая информация
3 урока
1.
Знакомство с платформой
↗
2.
Сдача домашних работ
↗
3.
Коммуникация с преподавателями
↗
Введение
5 уроков
1.
Что такое программирование?
↗
2.
Актуальность Python
↗
3.
Что можно сделать на Python?
↗
4.
Что такое PEP 8 и почему это важно?
↗
5.
Установка всего необходимого
↗
Начало Python
4 урока
1.
Переменные
↗
2.
Типы данных и комментарии
↗
3.
Ввод и вывод информации
↗
4.
Операции с переменными
↗
Условный оператор, циклы и try/except
4 урока
1.
Условный оператор if/else
↗
2.
Цикл for
↗
3.
Цикл while
↗
4.
Конструкция try/except
↗
Строки
5 уроков
1.
Что такое изменяемые и неизменяемые типы данных?
↗
2.
А теперь про строки!
↗
3.
Методы строк
↗
4.
Форматирование строк
↗
5.
Итоговое задание №1
↗
Списки и кортежи
5 уроков
1.
Введение в списки
↗
2.
Методы работы со списками
↗
3.
Поэлементное взаимодействие со списками
↗
4.
Генерация списков (list comprehension)
↗
5.
Что такое кортежи?
↗
Словари и множества
7 уроков
1.
Что такое словарь и зачем он нужен, если есть списки?
↗
2.
Методы работы со словарями
↗
3.
Вложенные словари
↗
4.
Множества и методы множеств
↗
5.
Круги Эйлера и операции над множествами
↗
6.
Frozenset
↗
7.
Итоговое задание №2
↗
Функции
11 уроков
1.
Что такое функция и зачем они нужны?
↗
2.
Функции без параметров и с параметрами
↗
3.
Возвращение результата из функции
↗
4.
Рекурсия
↗
5.
Аннотация типов
↗
6.
*Args и **Kwargs
↗
7.
Декораторы, передача функции как параметра
↗
8.
map(), filter(), reduce()
↗
9.
Lambda функции
↗
10.
all(), any(), zip(), enumerate()
↗
11.
Итоговое задание №3
↗
Модули и пакеты
2 урока
1.
Что такое пакеты и модули?
↗
2.
Псевдонимы
↗
Random и time
3 урока
1.
Псевдослучайные числа
↗
2.
Рассматриваем методы random
↗
3.
Как замерять время работы программы?
↗
Decimal / Fractions
2 урока
1.
Decimal
↗
2.
Fractions
↗
IterTools
2 урока
1.
Введение в комбинаторику
↗
2.
Что такое IterTools?
↗
Введение в PyQT5
8 уроков
1.
Как реализуются графические приложения на Python?
↗
2.
Введение в PyQT5
↗
3.
Что такое window и label?
↗
4.
Что такое layout? QVBox layout vs QHBox layout
↗
5.
Как работать с кнопками? Виды кнопок
↗
6.
Что такое виджеты?
↗
7.
Реальные проекты, написанные на PyQT5
↗
8.
Итоговое задание №4
↗
Асинхронность и многопоточность
2 урока
1.
Что такое асинхронность?
↗
2.
Что такое многопоточность/многопроцессорность?
↗
Алгоритмы и сортировки
2 урока
1.
Введение в алгоритмы
↗
2.
Введение в сортировки
↗
MatPlotLib
2 урока
1.
Что такое визуализация?
↗
2.
Знакомимся с MatPlotLib
↗
Что такое матрицы и NumPy?
3 урока
1.
Что такое матрица? Операции над матрицами
↗
2.
Что такое NumPy?
↗
3.
Итоговое задание №5
↗
Файлы
2 урока
1.
Что такое директория и файл? Виды файлов
↗
2.
Чтение/запись/открытие файлов
↗
ООП
7 уроков
1.
Что такое ООП?
↗
2.
Что такое класс?
↗
3.
Что такое объекты класса?
↗
4.
Зачем нужен конструктор?
↗
5.
Инкапсуляция, наследование и полиморфизм
↗
6.
Конструкция super
↗
7.
Итоговое задание №6
↗
Машинное обучение, нейросети
4 урока
1.
Что такое машинное обучение, нейросети и ИИ?
↗
2.
Основные модели машинного обучения
↗
3.
Из чего состоит нейросеть?
↗
4.
Пишем первые нейросети и знакомимся с TensorFlow
↗
NLP
2 урока
1.
Что такое NLP? Какие задачи решает?
↗
2.
Практикуемся :)
↗
OpenCV
4 урока
1.
Что такое компьютерное зрение?
↗
2.
Что такое пиксели, RGB и каналы?
↗
3.
Реализация приложения распознавания лиц на фото
↗
4.
Реализация приложения распознавания лиц на видео
↗
Чат-боты
3 урока
1.
Что такое чат-бот? История возникновения
↗
2.
Пишем первого чат-бота в Telegram
↗
3.
Итоговое задание №7
↗
Что такое SQLAlchemy | Что такое Django ?
5 уроков
1.
Для чего нужен SQLAlchemy?
↗
2.
Создание и настройка подключения
↗
3.
Определение моделей, ORM и основные операции CRUD
↗
4.
Введение в django, конкуренты, первое приложение
↗
5.
Делаем веб-форму для отправки сообщения в телеграмм
↗
Итоговый проект
2 урока
1.
Итоговые проекты на выбор.
↗
2.
Наши другие продукты
↗