Содержание курса
Введение
3 урока
1.
Пару слов о курсе
↗
2.
Просто зашли поинтересоваться?
↗
3.
Как мы будем учиться
↗
Знакомство с основами Python, его синтаксисом и мат. логикой
20 уроков
1.
О языке Python
↗
2.
Популярные рабочие среды для Python
↗
3.
Знакомство с Jupyter Labs
↗
4.
Работа ячеек и ядра в Jupiter Labs
↗
5.
Нумерация и извлечение элементов в Python
↗
6.
Основы и особенности написания и оформления кода: синтаксис
↗
7.
Типы данных
↗
8.
Переменные
↗
9.
Динамическая типизация
↗
10.
Числовой калькулятор
↗
11.
Текстовые вычисления
↗
12.
А как дела с датами?
↗
13.
Мидквэл-лекция о модулях
↗
14.
Операторы сравнения
↗
15.
Логические операторы: and, or, not
↗
16.
Оператор принадлежности: in \ not in
↗
17.
Условные вычисления: if
↗
18.
Функции: def
↗
19.
Не о Half-Life: lambda-выражения
↗
20.
Итоги знакомства: что из этих основ может пригодиться в анализе
↗
Углубление в основы:основные управляющие потоком конструкции
9 уроков
1.
Что это за инструкции\конструкции
↗
2.
Условное принятие решений: логика if, elif, else
↗
3.
Условное принятие решений: паттерны\шаблоны match
↗
4.
Комбинация конструкций (на примере match и if)
↗
5.
Циклы: for и while
↗
6.
Управление\изменение поведения циклов: break и continue
↗
7.
Обработчики исключений\ошибок: try...except
↗
8.
Управление ресурсами: with (проба работы с файлами)
↗
9.
Итоги инструкций контроля потоков выполнения программы
↗
О библиотеках: предназначение, подключения, использования
9 уроков
1.
Что такое библиотеки или "забудьте (почти)все что мы учили ранее
↗
2.
Массивы и Таблицы
↗
3.
NumPy и SciPy для вычислений
↗
4.
Pandas и Polars: предназначение, отличия, подключение
↗
5.
Matplotlib, Seaborn, Plotly:предназначение, отличия, подключение
↗
6.
StatsModels с TSA: предназначение, отличия, подключение
↗
7.
ML (scikit-learn) с бустингом (...boost)
↗
8.
Вызов подсказок и справок по объектам в библиотеках
↗
9.
Библиотечные итоги
↗
Основы для быстрого старта: как это все работает в комлексе
9 уроков
1.
Большая картина: врубаемся что вообще происходит
↗
2.
Подготовка к написанию кода: подключаем библиотеки
↗
3.
Загрузка данных
↗
4.
Преобразование: очистка данных
↗
5.
Преобразование: добавление новых столбцов
↗
6.
Анализ данных: описательные статистики
↗
7.
Визуализация данных
↗
8.
Анализ данных: аналитическая статистика
↗
9.
Итоги раздела
↗
ETL: извлечение, преобразование и загрузка данных
48 уроков
1.
Общий процесс работы с данными и место в нем ETL
↗
2.
Series, DataFrame, векторные вычисл.(обработка столбцов целиком)
↗
3.
Навигация и отбор из датафрейма нужных данных
↗
4.
Подключение к csv
↗
5.
Подключение к Excel
↗
6.
Самостоятельное задание: проба загрузки таблицы из SPSS
↗
7.
ДатаФрейм и его Представление в Jupyter
↗
8.
Вывод ВСЕХ строк и столбцов
↗
9.
Выгрузка только нужных столбцов
↗
10.
Мидквел:мастер-класс по базовому пониманию справочных материалов
↗
11.
Изменения названий\имен\заголовков столбцов
↗
12.
Перемещение\Изменение порядка столбцов
↗
13.
Типы данных для столбцов: int, float, datetime, string
↗
14.
Выбор столбцов по типу данных
↗
15.
Систематизация чтений\подключений
↗
16.
Вычисление новых столбцов: числовые столбцы
↗
17.
Вычисление новых столбцов: разделение и объединение столбцов
↗
18.
Вычисление новых столбцов: текстовые столбцы
↗
19.
Вычисление новых столбцов: столбцы с датами
↗
20.
Вычисление новых столбцов: условный столбец\перекодировка
↗
21.
Вместо условного столбца: разбиение значений на группы (cut)
↗
22.
Из одного столбца сделать много столбцов с 0\1
↗
23.
Удаление лишних\ненужных столбцов
↗
24.
Систематизация работы со столбцами
↗
25.
Тест по столбцам
↗
26.
Оставление нужных строк сверху\снизу таблицы
↗
27.
Удаление лишних\ненужных строк (порядок, дубликаты)
↗
28.
Фильтрация\Отбор строк для анализа: условие c | и &
↗
29.
Тест по строкам
↗
30.
Стратегии работы с пустыми значениями
↗
31.
Удаление пустых строк и столбцов
↗
32.
Заполнение пустых значений другими значениями
↗
33.
Заполнение вниз\вверх
↗
34.
Интерполяция "пустышек" во времени (периодичные данные)
↗
35.
Комплексные функционалы для АНАЛИЗА пропущенных значений
↗
36.
Тест по пропускам
↗
37.
Стратегии проверки данных: опечатки, смысл, не тот тип
↗
38.
Мидквел-лекция: Основы оконных вычислений
↗
39.
Группировка\Агрегирование: понижение гранулярности таблицы
↗
40.
Транспонирование DataFrame\таблицы
↗
41.
Сводные таблицы (Pivot, Pivot Table, Crosstab)
↗
42.
Мельтинг\Отмена свертывания\Unpivot
↗
43.
Тест по изменению таблицы
↗
44.
Слияние нескольких массивов\таблиц: добавление строк
↗
45.
Слияние нескольких таблиц: добавление столбцов (с исп.ключей)
↗
46.
Тест по джойнам и юнионам
↗
47.
Сохранение данных в файл
↗
48.
Итоги загрузки, очистки и подготовки данных
↗
Описательные статистики
12 уроков
1.
Что такое описательные статистики
↗
2.
Частотный анализ (частотное распределение)
↗
3.
Частоты под несколько переменных
↗
4.
4 группы мер в описательной статистике
↗
5.
Меры центральной тенденции: среднее, мода, медиана
↗
6.
Меры точек относительного разделения : процентили и квартили
↗
7.
Меры рассеивания\вариативности: дисперсия, ст.отклонение, размах
↗
8.
IQR и выбросы\outliers
↗
9.
Комлексный анализ описательных статистик: describe
↗
10.
Ящик с усами: визуал для среднего,квартилей,мин и макс, выбросов
↗
11.
Меры формы распределения: асимметрия и эксцесс
↗
12.
Итоги раздела
↗
Визуализации данных
22 урока
1.
Что такое визуализации?
↗
2.
Воспоминания как строятся диаграммы
↗
3.
Агрегирующие и неагрегирующие диаграммы
↗
4.
"Плавный" аналог гистограммы: агрегирующая KDE
↗
5.
Столбиковые\Линейчатые диаграммы: вертикальные и горизонтальные
↗
6.
Разбор и управление элементами диаграмм
↗
7.
Цветовое форматирование визуальных элементов
↗
8.
Группировка с распаковкой индекса: метод .groupby() с .unstack()
↗
9.
Столбцы на разные диаграммы (subplots)
↗
10.
Столбиковые диаграммы: с группировкой и с наложением
↗
11.
Погрешности\Коридор прогноза на диаграммах
↗
12.
График
↗
13.
Вторая Y-ось
↗
14.
Комбинированная диаграмма
↗
15.
График\диаграмма с областями
↗
16.
Круговые диаграммы
↗
17.
Диаграмма рассеивания\точечная
↗
18.
Превращаем точки в "пузыри"
↗
19.
Матрица скаттерплотов
↗
20.
Как забрать диаграммы в Power Point
↗
21.
Таблица - также визуальный элемент
↗
22.
Подводим итоги визуализаций
↗
Анализ данных: Сравнение групп
22 урока
1.
Основные блоки задач, решаемые при анализе данных
↗
2.
Генеральная совокупность и выборка
↗
3.
Гипотезы и вероятность ошибки\значимость
↗
4.
Параметрика\непараметрика
↗
5.
Проверка распределения "на нормальность"
↗
6.
Зависимые (парные, связанные) и Независимые группы
↗
7.
Тест: Систематизация основных понятий
↗
8.
Сравнение независимых групп: 2 группы, параметрика
↗
9.
О навигации по таблицам результатов (вспомним датафреймы)
↗
10.
Сравнение независимых групп: 2 группы, непараметрика
↗
11.
Тест 2-х групп (почти самостоятельное задание)
↗
12.
Сравнение незав. групп:более 2-х групп,параметрика,с пост-хок
↗
13.
Сравнение незав. групп:более 2-х групп,непараметрика, с пост-хок
↗
14.
Сравнение парных\связанных групп: 2 группы, параметрика
↗
15.
Сравнение парных\связанных групп: 2 группы, непараметрика
↗
16.
Сравнение парных групп: более 2-х групп, параметрика, с пост-хок
↗
17.
Помиксуем-ка мы сами...: парные и независимые группы вместе
↗
18.
Сравнение парных групп: более 2-х групп,непараметрика,с пост-хок
↗
19.
Таблицы сопряженности: Хи2 для категориальных признаков, независ
↗
20.
Таблицы сопряженности: МакНемар для категор. признаков в завис.
↗
21.
Разговоры о красивом
↗
22.
Групповые итоги
↗
Анализ данных: связи между переменными
16 уроков
1.
Рассуждения о связях между переменными
↗
2.
Сила, Направленность и Значимая\Неслучайна статистическая связь
↗
3.
Корреляции
↗
4.
Мидквел: многомерность выбросов
↗
5.
Мидквел: многомерная нормальность
↗
6.
Мидквел: корреляционная красота
↗
7.
Корреляция для повторных замеров
↗
8.
Ложные (частные\получастные) корреляции
↗
9.
Анализ надежности-согласованности
↗
10.
Линейная регрессия
↗
11.
Понятие нормализации данных
↗
12.
А если связи нелинейные?
↗
13.
Квантильная регрессия (библиотека statsmodels)
↗
14.
Что такое факторный анализ
↗
15.
Факторный анализ (библиотека factor_analyzer)
↗
16.
Итоги раздела
↗
Анализ данных: классификация
18 уроков
1.
Переходим к классификации и кластеризации
↗
2.
Кто учит алгоритмы? Обучение с учителем
↗
3.
Бинарная логистическая регрессия
↗
4.
Как понять хороша ли модель: Precision, Recall, ROC-AUC
↗
5.
Мультиномиальная логистическая регрессия
↗
6.
Порядковая логистическая регрессия
↗
7.
Ближайшие соседи k-NN
↗
8.
Деревья решений
↗
9.
Ансамбли: RandomForest (случайный лес) как бэггинг подход
↗
10.
Ансамбли: бустинги - каждая модель исправляет предыдущую
↗
11.
А если никто не учит? Обучение без учителя.
↗
12.
Кластерный анализ методом К-средних
↗
13.
Кластеризация на основе плотности DBSCAN
↗
14.
Визуализация кластеров на плоскости t-SNE
↗
15.
Нейросети как сложные классификаторы
↗
16.
Многослойный перцептрон MLP: с учителем
↗
17.
Болцмановские машины (RBM): без учителя
↗
18.
Итоги раздела
↗
Мидквэл:анализ и прогнозирование временных рядов statsmodels.tsa
9 уроков
1.
Что такое временной ряд и работа с ним
↗
2.
Главная ловушка при анализе временных рядов
↗
3.
Основные задачи анализа временных рядов
↗
4.
Компоненты временного ряда: тренд, сезонность, цикл, всплеск
↗
5.
С чего начинается: смотрим "на глазок"
↗
6.
Подавление "шумов":HPF(Hodrick-Prescott Filter) отделение тренда
↗
7.
Анализ сезонности (на ряду с другими компонентами)
↗
8.
(s)ARIMA(x): обучение на временном ряде и его прогнозирование
↗
9.
Итоги временных прогнозов
↗
Небольшой факультатив:обзор других отдельных аналитических возм.
5 уроков
1.
Используем SQL-скрипты в JupiterLabs
↗
2.
Использование Python в Excel 365
↗
3.
Не таблицами едиными: анализ текста, изображений, аудио, видео..
↗
4.
Разработка аналитических приложений
↗
5.
ИИ-помощники при работе с Python
↗
Послесловие
3 урока
1.
Обобщение курса
↗
2.
Напутствие
↗
3.
Бонус-лекция
↗