Курс на Stepik
Обложка курса «Оценка качества AI-систем: тестирование, метрики, мониторинг» на Stepik
4 900 ₽

Оценка качества AI-систем: тестирование, метрики, мониторинг ★ 0.000

Открыть на
STEPIK.ORG

Курс о том, как перестать угадывать качество AI решений и начать его измерять. Вы научитесь тестировать LLM-системы, строить метрики, ловить ошибки и деградации, запускать мониторинг и уверенно управлять AI в продакшене.

Показатель Текущие показатели Рост
Значение 🏆 Рейтинг 3 дн 7 дн 30 дн
Количество учеников на курсе «Оценка качества AI-систем: тестирование, метрики, мониторинг»Учеников на курсе 5
Сертификаты, выданные на курсе «Оценка качества AI-систем: тестирование, метрики, мониторинг»Сертификатов выдано 2
Отзывы о курсе «Оценка качества AI-систем: тестирование, метрики, мониторинг»Отзывов получено 0
Рейтинг курса «Оценка качества AI-систем: тестирование, метрики, мониторинг»Рейтинг курса 0.000
Уроки в курсе «Оценка качества AI-систем: тестирование, метрики, мониторинг»Количество уроков 25
Тесты в курсе «Оценка качества AI-систем: тестирование, метрики, мониторинг»Количество квизов 42
Задачи с кодом в курсе «Оценка качества AI-систем: тестирование, метрики, мониторинг»Количество задач с кодом 3
Время прохождения курса «Оценка качества AI-систем: тестирование, метрики, мониторинг»Время прохождения курса —
Стоимость курса «Оценка качества AI-систем: тестирование, метрики, мониторинг»Стоимость курса 4 900 ₽ —
Обновления курса «Оценка качества AI-систем: тестирование, метрики, мониторинг»Обновления курса — —
Дата публикации курса «Оценка качества AI-систем: тестирование, метрики, мониторинг»Дата публикации курса — ———
Последнее обновление курса «Оценка качества AI-систем: тестирование, метрики, мониторинг»Последнее обновление — ———
Сложность normal — ———

Содержание курса

Разделы в курсе «Оценка качества AI-систем: тестирование, метрики, мониторинг» 5 разделов Уроки в курсе «Оценка качества AI-систем: тестирование, метрики, мониторинг» 25 уроков Тесты в курсе «Оценка качества AI-систем: тестирование, метрики, мониторинг» 42 теста Задачи в курсе «Оценка качества AI-систем: тестирование, метрики, мониторинг» 3 задачи Время прохождения курса «Оценка качества AI-систем: тестирование, метрики, мониторинг» 1 ч. Последнее обновление курса «Оценка качества AI-систем: тестирование, метрики, мониторинг» обн. 3 ноября 2026

Вступление

3 урока
1. Синхронизируем ожидания от курса ↗
2. В чем подвох AI-решений? ↗
3. Знакомство со сквозным проектом курса ↗

Метрики

11 уроков
1. Метрика - что это? ↗
2. Классификация метрик по способу оценки ↗
3. LLM-as-a-Judge: Автоматизация экспертной оценки ↗
4. Метрики производительности, ресурсов и безопасности ↗
5. Метрики для задач классификации ↗
6. Метрики для RAG систем ↗
7. Метрики для диалогов ↗
8. Метрики для агентов ↗
9. Еще больше метрик ↗
10. Как выбрать метрики под свою задачу? ↗
11. Практикум: Создаем свои метрики ↗

Проверочный датасет

4 урока
1. Что такое проверочный датасет? ↗
2. Способы создания ↗
3. Когда и как использовать ↗
4. Практикум: Создаем свой проверочный датасет ↗

Диагностика качества в продакшен

3 урока
1. LLM Tracing ↗
2. Регулярный аудит ↗
3. Алерты ↗

Инструментарий и автоматизация

4 урока
1. Требования к инструментарию ↗
2. Обзор популярных систем ↗
3. Глубокое погружение в Langfuse ↗
4. Практикум: Настройка Langfuse под свою задачу ↗