Содержание курса
7
разделов
33
урока
171
тест
17
задач
4 ч.
обн. 3 марта 2026
1. Введение в LLMOps
5 уроков
276
103
70м
2
Открытый
1.1
Почему обычный prompt engineering не работает в продакшне
↗
117
33
17м 31с
0
Закрытый
1.2
Классические боли
↗
43
25
18м 23с
0
Открытый
1.3
Обзор инструментов для LLMOps
↗
54
17
18м 8с
2
Закрытый
1.4
Разбор реальных кейсов, где LLMOps сделал разницу
↗
32
24
17м 14с
0
Закрытый
1.5
Практикум
↗
30
4
-
0
2. Архитектура и пайплайны LLM-приложений
5 уроков
118
55
69м
0
Закрытый
2.1
Компоненты продакшн-системы
↗
35
17
15м 1с
0
Закрытый
2.2
Best practices для пайплайнов RAG и агентов
↗
26
12
18м 52с
0
Закрытый
2.3
Управление версиями промптов и моделей (PromptOps)
↗
20
12
21м 49с
0
Закрытый
2.4
Логирование и трассировка: как не терять контроль над моделью
↗
20
11
16м 46с
0
Закрытый
2.5
Практикум
↗
17
3
-
0
3. Метрики качества LLM-систем
5 уроков
189
67
88м
0
Закрытый
3.1
Почему «accuracy» ≠ качество в LLM
↗
21
11
15м 53с
0
Закрытый
3.2
Классические метрики
↗
55
14
24м 33с
0
Закрытый
3.3
Современные метрики
↗
45
18
17м 52с
0
Закрытый
3.4
User-oriented метрики
↗
20
9
23м 33с
0
Закрытый
3.5
Как построить дашборд для мониторинга качества
↗
48
15
10м 44с
0
4. Evaluation на практике
5 уроков
64
25
17м
0
Закрытый
4.1
Как тестировать промпты и пайплайны (unit tests для LLM)
↗
17
7
11м 10с
0
Закрытый
4.2
Автоматизированные A/B тесты с помощью LLM-оценки
↗
14
5
1м 11с
0
Закрытый
4.3
Human-in-the-loop: когда и зачем нужны люди в тестировании
↗
12
4
2м 55с
0
Закрытый
4.4
Генерация тест-датасетов (synthetic data) для проверки модели
↗
11
5
1м 8с
0
Закрытый
4.5
Практика: написать собственный фреймворк для оценки
↗
10
4
1м 15с
0
5. LLM Monitoring & Observability
4 урока
45
16
94м
0
Закрытый
5.1
Как мониторить продакшн-LLM
↗
10
5
88м 30с
0
Закрытый
5.2
Alerting и логирование промптов/ответов
↗
14
4
1м 20с
0
Закрытый
5.3
Борьба с деградацией качества (drift detection)
↗
10
4
4м 23с
0
Закрытый
5.4
Cost management: оптимизация бюджета на LLM
↗
11
3
1м 57с
0
6. Advanced Topics (для PRO)
5 уроков
61
25
3м
0
Закрытый
6.1
Ragas: как построить автоматическую систему оценки RAG-проектов
↗
15
6
0м 15с
0
Закрытый
6.2
OpenAI Evals и Custom Evals
↗
14
5
0м 20с
0
Закрытый
6.3
LLM-based judges (оценка ответов через LLM)
↗
10
5
1м 44с
0
Закрытый
6.4
Safety & Red-teaming
↗
11
5
1м 52с
0
Закрытый
6.5
Интеграция с CI/CD: автоматические quality-гейты для деплоя
↗
11
4
0м 29с
0
7. Практический проект
4 урока
39
0
0м
0
Закрытый
7.1
Построение RAG-системы с автоматической оценкой качества
↗
17
0
-
0
Закрытый
7.2
Настройка метрик и мониторинга
↗
8
0
-
0
Закрытый
7.3
Проведение A/B тестов между версиями промптов
↗
7
0
-
0
Закрытый
7.4
Сбор и анализ результатов → финальный отчёт
↗
7
0
-
0