Содержание пакета (3 курса)
1. PySpark с нуля 5.00
Знакомство с платформой и сдача практических задач
1 урок
1.
Введение в курс и платформу
↗
Введение в Spark и основы распределенных вычислений
6 уроков
1.
Что такое Apache Spark и его место в экосистеме Big Data
↗
2.
Архитектура Spark: драйвер, исполнители, кластерные менеджеры
↗
3.
Чем Spark лучше Hadoop MapReduce? Отложенные вычисления
↗
4.
Обзор PySpark API и его особенностей
↗
5.
Установка и настройка Spark
↗
6.
Первый запуск PySpark
↗
Работа с данными в PySpark: RDD
6 уроков
1.
Что такое RDD (Resilient Distributed Dataset)
↗
2.
Преобразования
↗
3.
Действия
↗
4.
Практическое задание
↗
5.
Самостоятельная работа
↗
6.
Итоговое задание
↗
Работа с данными в PySpark: DataFrame и Spark SQL
11 уроков
1.
DataFrame в PySpark: понятие, схема, создание
↗
2.
Основные операции DataFrame API
↗
3.
Spark SQL
↗
4.
Схемы данных и типы
↗
5.
Встроенные функции PySpark
↗
6.
User Defined Functions
↗
7.
Форматы: Avro, Parquet, ORC
↗
8.
Pandas API
↗
9.
Практическое задание
↗
10.
Самостоятельная работа
↗
11.
Итоговое задание
↗
Оптимизация производительности PySpark-приложений
8 уроков
1.
Широкие и узкие преобразования, shuffle
↗
2.
Партиционирование
↗
3.
Анализ плана выполнения (explain), стратегии JOIN
↗
4.
Обработка неравномерных данных (Data Skew)
↗
5.
Кэширование (cache, persist) и контрольные точки (checkpoint)
↗
6.
Catalyst Optymizer
↗
7.
Tungsten Execution Engine
↗
8.
Итоговое задание
↗
Потоковая обработка с PySpark Structured Streaming
6 уроков
1.
Введение в PySpark Streaming
↗
2.
Источники данных для Structured Streaming
↗
3.
Вывод данных, Режимы вывода и Триггеры
↗
4.
Управление состоянием и временем
↗
5.
Самостоятельная работа
↗
6.
Итоговое задание
↗
Машинное обучение с PySpark MLlib
6 уроков
1.
Введение в PySpark ML
↗
2.
Предварительная обработка данных
↗
3.
Основные алгоритмы машинного обучения в PySpark ML
↗
4.
Оценка моделей в PySpark ML
↗
5.
Кросс-валидация и подбор гиперпараметров
↗
6.
Построение и оценка ML Pipelines
↗
Интеграция PySpark с внешними системами
1 урок
1.
Знакомство с хранилищами данных для работы с PySpark
↗
Отладка и профилирование PySpark-приложений
1 урок
1.
Как устранять ошибки?
↗
Чеклисты и шпаргалки по PySpark
1 урок
1.
Основные приемы
↗
Продвинутые темы PySpark
1 урок
1.
Что такое DeltaLake?
↗
Финальные проекты
1 урок
1.
Варианты итоговых работ
↗
2. Python Engineer с нуля до junior 4.91
Общая информация
3 урока
1.
Знакомство с платформой
↗
2.
Сдача домашних работ
↗
3.
Коммуникация с преподавателями
↗
Введение
5 уроков
1.
Что такое программирование?
↗
2.
Актуальность Python
↗
3.
Что можно сделать на Python?
↗
4.
Что такое PEP 8 и почему это важно?
↗
5.
Установка всего необходимого
↗
Начало Python
4 урока
1.
Переменные
↗
2.
Типы данных и комментарии
↗
3.
Ввод и вывод информации
↗
4.
Операции с переменными
↗
Условный оператор, циклы и try/except
4 урока
1.
Условный оператор if/else
↗
2.
Цикл for
↗
3.
Цикл while
↗
4.
Конструкция try/except
↗
Строки
5 уроков
1.
Что такое изменяемые и неизменяемые типы данных?
↗
2.
А теперь про строки!
↗
3.
Методы строк
↗
4.
Форматирование строк
↗
5.
Итоговое задание №1
↗
Списки и кортежи
5 уроков
1.
Введение в списки
↗
2.
Методы работы со списками
↗
3.
Поэлементное взаимодействие со списками
↗
4.
Генерация списков (list comprehension)
↗
5.
Что такое кортежи?
↗
Словари и множества
7 уроков
1.
Что такое словарь и зачем он нужен, если есть списки?
↗
2.
Методы работы со словарями
↗
3.
Вложенные словари
↗
4.
Множества и методы множеств
↗
5.
Круги Эйлера и операции над множествами
↗
6.
Frozenset
↗
7.
Итоговое задание №2
↗
Функции
11 уроков
1.
Что такое функция и зачем они нужны?
↗
2.
Функции без параметров и с параметрами
↗
3.
Возвращение результата из функции
↗
4.
Рекурсия
↗
5.
Аннотация типов
↗
6.
*Args и **Kwargs
↗
7.
Декораторы, передача функции как параметра
↗
8.
map(), filter(), reduce()
↗
9.
Lambda функции
↗
10.
all(), any(), zip(), enumerate()
↗
11.
Итоговое задание №3
↗
Модули и пакеты
2 урока
1.
Что такое пакеты и модули?
↗
2.
Псевдонимы
↗
Random и time
3 урока
1.
Псевдослучайные числа
↗
2.
Рассматриваем методы random
↗
3.
Как замерять время работы программы?
↗
Decimal / Fractions
2 урока
1.
Decimal
↗
2.
Fractions
↗
IterTools
2 урока
1.
Введение в комбинаторику
↗
2.
Что такое IterTools?
↗
Введение в PyQT5
8 уроков
1.
Как реализуются графические приложения на Python?
↗
2.
Введение в PyQT5
↗
3.
Что такое window и label?
↗
4.
Что такое layout? QVBox layout vs QHBox layout
↗
5.
Как работать с кнопками? Виды кнопок
↗
6.
Что такое виджеты?
↗
7.
Реальные проекты, написанные на PyQT5
↗
8.
Итоговое задание №4
↗
Асинхронность и многопоточность
2 урока
1.
Что такое асинхронность?
↗
2.
Что такое многопоточность/многопроцессорность?
↗
Алгоритмы и сортировки
2 урока
1.
Введение в алгоритмы
↗
2.
Введение в сортировки
↗
MatPlotLib
2 урока
1.
Что такое визуализация?
↗
2.
Знакомимся с MatPlotLib
↗
Что такое матрицы и NumPy?
3 урока
1.
Что такое матрица? Операции над матрицами
↗
2.
Что такое NumPy?
↗
3.
Итоговое задание №5
↗
Файлы
2 урока
1.
Что такое директория и файл? Виды файлов
↗
2.
Чтение/запись/открытие файлов
↗
ООП
7 уроков
1.
Что такое ООП?
↗
2.
Что такое класс?
↗
3.
Что такое объекты класса?
↗
4.
Зачем нужен конструктор?
↗
5.
Инкапсуляция, наследование и полиморфизм
↗
6.
Конструкция super
↗
7.
Итоговое задание №6
↗
Машинное обучение, нейросети
4 урока
1.
Что такое машинное обучение, нейросети и ИИ?
↗
2.
Основные модели машинного обучения
↗
3.
Из чего состоит нейросеть?
↗
4.
Пишем первые нейросети и знакомимся с TensorFlow
↗
NLP
2 урока
1.
Что такое NLP? Какие задачи решает?
↗
2.
Практикуемся :)
↗
OpenCV
4 урока
1.
Что такое компьютерное зрение?
↗
2.
Что такое пиксели, RGB и каналы?
↗
3.
Реализация приложения распознавания лиц на фото
↗
4.
Реализация приложения распознавания лиц на видео
↗
Чат-боты
3 урока
1.
Что такое чат-бот? История возникновения
↗
2.
Пишем первого чат-бота в Telegram
↗
3.
Итоговое задание №7
↗
Что такое SQLAlchemy | Что такое Django ?
5 уроков
1.
Для чего нужен SQLAlchemy?
↗
2.
Создание и настройка подключения
↗
3.
Определение моделей, ORM и основные операции CRUD
↗
4.
Введение в django, конкуренты, первое приложение
↗
5.
Делаем веб-форму для отправки сообщения в телеграмм
↗
Итоговый проект
2 урока
1.
Итоговые проекты на выбор.
↗
2.
Наши другие продукты
↗
3. SQL Engineer с нуля до junior 4.67
Знакомство с платформой и сдача практических работ
2 урока
1.
Введение в курс
↗
2.
Сдача практических задач и знакомство с платформой
↗
Что такое базы данных?
7 уроков
1.
Что такое информация и какая она бывает?
↗
2.
Для чего используются базы данных?
↗
3.
История баз данных
↗
4.
Актуальность баз данных
↗
5.
Виды баз данных
↗
6.
OLAP vs OLTP
↗
7.
ACID
↗
Проектирование базы данных
5 уроков
1.
Что такое таблица, домен, кортеж?
↗
2.
Виды связей между таблицами
↗
3.
Виды ключей
↗
4.
Нормализация баз данных
↗
5.
ER-диаграммы
↗
Введение в PostgreSQL
6 уроков
1.
История PostgreSQL
↗
2.
Знакомство с конкурентом - MySQL и сравнение.
↗
3.
Пошаговая установка PostgreSQL
↗
4.
Что такое PgAdmin?
↗
5.
DBeaver и его установка
↗
6.
Использование DBeaver
↗
Структура SQL запросов
4 урока
1.
Диалекты SQL запросов
↗
2.
Основные группы запросов: DDL, DML, DCL, TCL
↗
3.
Основные типы данных
↗
4.
Итоговое задание №1
↗
Команды DML
4 урока
1.
Команда INSERT
↗
2.
Команда UPDATE
↗
3.
Команда DELETE
↗
4.
Итоговое задание №2
↗
Запросы на выборку данных
9 уроков
1.
Команда SELECT и её возможности
↗
2.
Математические операции
↗
3.
Математические функции
↗
4.
Строковые функции
↗
5.
Функции даты/времени
↗
6.
Фильтрация данных с помощью WHERE
↗
7.
Сортировка данных с помощью ORDER BY
↗
8.
Лимитирование результатов: LIMIT и OFFSET
↗
9.
Итоговое задание №3
↗
Агрегация и группировка данных
3 урока
1.
Агрегатные функции: COUNT, SUM, AVG, MIN, MAX
↗
2.
Группировка данных с помощью GROUP BY
↗
3.
Фильтрация агрегатов с помощью HAVING
↗
Работа с несколькими таблицами
6 уроков
1.
Объединение - UNION
↗
2.
Виды соединений
↗
3.
Юнит-экономика
↗
4.
Использование подзапросов и коррелированных подзапросов
↗
5.
Бонус. Подготовка кортежей для вставки в БД
↗
6.
Итоговое задание №4
↗
Работа с NULL значениями
2 урока
1.
Понимание NULL и его особенности
↗
2.
Операторы для работы с NULL: IS NULL, IS NOT NULL
↗
Индексы и их использование
4 урока
1.
Зачем нужны индексы?
↗
2.
Типы индексов: B-Tree, Hash
↗
3.
Создание и удаление индексов
↗
4.
Итоговое задание №5
↗
Работа с представлениями (Views)
3 урока
1.
Представления: создание и использование
↗
2.
Обновляемые представления и их ограничения
↗
3.
Итоговое задание №6
↗
Управление доступом и безопасностью
3 урока
1.
Понятие пользователей и ролей в СУБД
↗
2.
Назначение прав доступа
↗
3.
Итоговое задание №7
↗
Хранимые процедуры и функции
3 урока
1.
Введение в хранимые процедуры и функции
↗
2.
Создание и использование процедур
↗
3.
Отличие между процедурами и функциями
↗
Триггеры и их использование
2 урока
1.
Что такое триггеры и как они работают?
↗
2.
Создание и управление триггерами
↗
Работа с JSON и XML данными
3 урока
1.
Хранение и извлечение данных в формате JSON
↗
2.
Использование функций JSON
↗
3.
Работа с XML: извлечение и модификация данных
↗
SQL для аналитики данных
3 урока
1.
Использование CTE (Common Table Expressions)
↗
2.
Рекурсивные запросы
↗
3.
Аналитические функции (OVER, PARTITION BY)
↗
NoSQL и SQL
2 урока
1.
Введение в NoSQL
↗
2.
Отличия между SQL и NoSQL базами данных
↗
Безопасность данных и шифрование
1 урок
1.
Основы хеширования данных в СУБД
↗
Введение в Clickhouse
4 урока
1.
Что такое Clickhouse?
↗
2.
Установка Clickhouse
↗
3.
Начало работы с Clickhouse
↗
4.
Основные движки в Clickhouse
↗
Разбор основных вопросов на собеседованиях
2 урока
1.
Какие виды тестирования можно встретить на собеседованиях?
↗
2.
Основные вопросы с собеседований на SQL-разработчика
↗
Итоговое задание
2 урока
1.
Обсуждение итогового проекта, его сдача и критерии проверки
↗
2.
Наши другие продукты
↗