Содержание пакета (2 курса)
1. DataOPS Engineer с нуля до middle
Знакомство с платформой и сдача практических задач
3 урока
1.
Введение в курс и платформу
↗
2.
Кто такой DataOPS?
↗
3.
Большие данные.
↗
Linux, bash, виртуализация
8 уроков
1.
Что такое Linux? Основные дистрибутивы, пакетные менеджеры
↗
2.
Виртуализация. Типы гипервизоров. Установка
↗
3.
Файловая система, каталоги
↗
4.
Основы работы с Bash
↗
5.
Автоматизация с Bash
↗
6.
Установка и настройка ssh сервера
↗
7.
Настройка сети и безопасность
↗
8.
Мониторинг ресурсов, процессов, системные журналы
↗
Python
14 уроков
1.
Знакомство с Python
↗
2.
Установка Visual Studio Code (VS Code)
↗
3.
Вывод данных
↗
4.
Переменные и типы данных. Структуры данных.
↗
5.
Ввод данных
↗
6.
Условный оператор if/else
↗
7.
Цикл for
↗
8.
Цикл while
↗
9.
try/except
↗
10.
Функции
↗
11.
Библиотеки Pandas
↗
12.
Библиотека NumPy
↗
13.
Библиотека Matplotlib
↗
14.
Итоговое задание
↗
Системы контроля версий, введение в Git
5 уроков
1.
Системы контроля версий
↗
2.
GitHub. Создание репозитория и работа с ним на сайте.
↗
3.
Git и работа с ним в терминале.
↗
4.
Работа с ветками
↗
5.
Важное в мелочах: .gitignore и markdown
↗
Контейнеризация. Docker
11 уроков
1.
Контейнеризация и чем она отличается от виртуализации
↗
2.
Docker образы и контейнеры
↗
3.
Docker Engine и Docker Desktop
↗
4.
Docker registry, Docker hub
↗
5.
Dockerfile - синтаксис и наполнение файла
↗
6.
Хранение данных. Сеть и порты.
↗
7.
Очистка Docker от ненужных данных.
↗
8.
Dockerfile многоэтапная сборка
↗
9.
Docker compose. Синтаксис yaml и команды для работы
↗
10.
Netbox
↗
11.
Итоговое задание
↗
Базы данных, хранилища
8 уроков
1.
Типы баз данных. Масштабирование. OLTP и OLAP
↗
2.
Клиент DBeaver: подключение к PostgreSQL
↗
3.
PostgreSQL
↗
4.
Clickhouse
↗
5.
MongoDB
↗
6.
Конфигурация Clickhouse
↗
7.
Управление пользователями и правами Clickhouse.
↗
8.
Итоговое задание
↗
CI/CD на примере GitLab
5 уроков
1.
Что такое CI/CD
↗
2.
Запуск GitLab локально с помощью Docker
↗
3.
Pipeline
↗
4.
Регистрация GitLab Runner.
↗
5.
Практический пример
↗
Sonatype Nexus Repository
3 урока
1.
Что такое sonatype nexus и зачем он нужен компаниям
↗
2.
Установка и настройка sonatype nexus
↗
3.
Создание Docker репозитория для артефактов
↗
k8s - Minikube
14 уроков
1.
Что такое Kubernetes, сравнение с docker
↗
2.
Установка minikube
↗
3.
Обзор архитектуры Kubernetes
↗
4.
Pods
↗
5.
ReplicaSet
↗
6.
Deployment
↗
7.
Labels
↗
8.
Volumes
↗
9.
Команды kubectl
↗
10.
Kubelet
↗
11.
Kube-proxy
↗
12.
Etcd
↗
13.
Kubernetes API Server
↗
14.
Scheduler
↗
Apache Hadoop
7 уроков
1.
Установка в docker
↗
2.
Hadoop Distributed File System (HDFS)
↗
3.
MapReduce
↗
4.
Hive
↗
5.
YARN (Yet Another Resource Negotiator)
↗
6.
HUE (Hadoop User Experience)
↗
7.
Команды hdfs dfs (Работа с папками, работа с файлами)
↗
Apache Spark
5 уроков
1.
Что такое Spark и где он используется
↗
2.
Архитектура Spark
↗
3.
Установка Spark
↗
4.
Spark Cluster на Minikube
↗
5.
Примеры использования PySpark
↗
Apache Airflow
4 урока
1.
Введение в Apache Airflow
↗
2.
Установка Apache Airflow и первые шаги
↗
3.
Узнаем из чего состоят DAG'и
↗
4.
Практический пример. Пишем свой первый DAG
↗
Облачный хостинг (cloud hosting)
4 урока
1.
Почему всё ушло в «облака»?
↗
2.
Облачные провайдеры
↗
3.
Первый опыт с облачным провайдером
↗
4.
Managed Kubernetes
↗
DBT
10 уроков
1.
Что такое DBT
↗
2.
Установка dbt
↗
3.
Основные команды dbt
↗
4.
Основные концепции
↗
5.
Промежуточное тестирование
↗
6.
Jinja-шаблонизация
↗
7.
Jinja часть 2
↗
8.
Jinja часть 3
↗
9.
Оптимизация
↗
10.
Итоговое задание
↗
Ansible
3 урока
1.
Автоматизация настройки серверов c Ansible
↗
2.
Плейбуки и конфигурации
↗
3.
Практический пример
↗
Итоговая работа
2 урока
1.
Что мы проходили на курсе и что еще стоит продолжить изучать
↗
2.
Итоговая работа
↗
2. SQL Engineer с нуля до junior 4.67
Знакомство с платформой и сдача практических работ
2 урока
1.
Введение в курс
↗
2.
Сдача практических задач и знакомство с платформой
↗
Что такое базы данных?
7 уроков
1.
Что такое информация и какая она бывает?
↗
2.
Для чего используются базы данных?
↗
3.
История баз данных
↗
4.
Актуальность баз данных
↗
5.
Виды баз данных
↗
6.
OLAP vs OLTP
↗
7.
ACID
↗
Проектирование базы данных
5 уроков
1.
Что такое таблица, домен, кортеж?
↗
2.
Виды связей между таблицами
↗
3.
Виды ключей
↗
4.
Нормализация баз данных
↗
5.
ER-диаграммы
↗
Введение в PostgreSQL
6 уроков
1.
История PostgreSQL
↗
2.
Знакомство с конкурентом - MySQL и сравнение.
↗
3.
Пошаговая установка PostgreSQL
↗
4.
Что такое PgAdmin?
↗
5.
DBeaver и его установка
↗
6.
Использование DBeaver
↗
Структура SQL запросов
4 урока
1.
Диалекты SQL запросов
↗
2.
Основные группы запросов: DDL, DML, DCL, TCL
↗
3.
Основные типы данных
↗
4.
Итоговое задание №1
↗
Команды DML
4 урока
1.
Команда INSERT
↗
2.
Команда UPDATE
↗
3.
Команда DELETE
↗
4.
Итоговое задание №2
↗
Запросы на выборку данных
9 уроков
1.
Команда SELECT и её возможности
↗
2.
Математические операции
↗
3.
Математические функции
↗
4.
Строковые функции
↗
5.
Функции даты/времени
↗
6.
Фильтрация данных с помощью WHERE
↗
7.
Сортировка данных с помощью ORDER BY
↗
8.
Лимитирование результатов: LIMIT и OFFSET
↗
9.
Итоговое задание №3
↗
Агрегация и группировка данных
3 урока
1.
Агрегатные функции: COUNT, SUM, AVG, MIN, MAX
↗
2.
Группировка данных с помощью GROUP BY
↗
3.
Фильтрация агрегатов с помощью HAVING
↗
Работа с несколькими таблицами
6 уроков
1.
Объединение - UNION
↗
2.
Виды соединений
↗
3.
Юнит-экономика
↗
4.
Использование подзапросов и коррелированных подзапросов
↗
5.
Бонус. Подготовка кортежей для вставки в БД
↗
6.
Итоговое задание №4
↗
Работа с NULL значениями
2 урока
1.
Понимание NULL и его особенности
↗
2.
Операторы для работы с NULL: IS NULL, IS NOT NULL
↗
Индексы и их использование
4 урока
1.
Зачем нужны индексы?
↗
2.
Типы индексов: B-Tree, Hash
↗
3.
Создание и удаление индексов
↗
4.
Итоговое задание №5
↗
Работа с представлениями (Views)
3 урока
1.
Представления: создание и использование
↗
2.
Обновляемые представления и их ограничения
↗
3.
Итоговое задание №6
↗
Управление доступом и безопасностью
3 урока
1.
Понятие пользователей и ролей в СУБД
↗
2.
Назначение прав доступа
↗
3.
Итоговое задание №7
↗
Хранимые процедуры и функции
3 урока
1.
Введение в хранимые процедуры и функции
↗
2.
Создание и использование процедур
↗
3.
Отличие между процедурами и функциями
↗
Триггеры и их использование
2 урока
1.
Что такое триггеры и как они работают?
↗
2.
Создание и управление триггерами
↗
Работа с JSON и XML данными
3 урока
1.
Хранение и извлечение данных в формате JSON
↗
2.
Использование функций JSON
↗
3.
Работа с XML: извлечение и модификация данных
↗
SQL для аналитики данных
3 урока
1.
Использование CTE (Common Table Expressions)
↗
2.
Рекурсивные запросы
↗
3.
Аналитические функции (OVER, PARTITION BY)
↗
NoSQL и SQL
2 урока
1.
Введение в NoSQL
↗
2.
Отличия между SQL и NoSQL базами данных
↗
Безопасность данных и шифрование
1 урок
1.
Основы хеширования данных в СУБД
↗
Введение в Clickhouse
4 урока
1.
Что такое Clickhouse?
↗
2.
Установка Clickhouse
↗
3.
Начало работы с Clickhouse
↗
4.
Основные движки в Clickhouse
↗
Разбор основных вопросов на собеседованиях
2 урока
1.
Какие виды тестирования можно встретить на собеседованиях?
↗
2.
Основные вопросы с собеседований на SQL-разработчика
↗
Итоговое задание
2 урока
1.
Обсуждение итогового проекта, его сдача и критерии проверки
↗
2.
Наши другие продукты
↗