Чему вы научитесь
- Научитесь системно оценивать качество LLM, RAG и AI-агентов.
- Создавать evaluation dataset и находить ошибки до выхода в production.
- Выбирать подходящие метрики, evaluators и использовать LLM-as-Judge.
- Проверять retrieval, tool calling, trajectory, безопасность и high-risk сценарии.
- Сравнивать версии, находить регрессии и принимать решения о релизе.
- Спроектируете полноценный evaluation-контур для реального AI-продукта.
О курсе
Практический курс по LLM Evaluation и тестированию AI-систем. Оценка качества LLM, RAG и AI-агентов: evaluation dataset, метрики, evaluators, LLM-as-Judge, hallucinations, retrieval, tool calling, регрессии и QA. Научитесь сравнивать версии, принимать решения о релизе и строить production evaluation для реальных LLM-продуктов.
Для кого этот курс
Курс для вайбкодеров, AI-разработчиков и всех, кто создаёт приложения с ИИ и хочет понять, насколько хорошо работают LLM, RAG и AI-агенты.
Начальные требования
Базовое понимание LLM и доступ в интернет.
Компьютер или ноутбук для практических заданий.
Преподаватели курса
1 576
Как проходит обучение
Короткая теория без перегруза — только то, что действительно нужно для работы с LLM Evaluation.
Практические задания после ключевых тем: от оценки отдельных ответов до RAG, AI-агентов и production-сценариев.
Реальные кейсы и traces, где нужно не угадывать термин, а находить ошибки, риски и причины ухудшений.
Работа с evaluation dataset, метриками, evaluators, LLM-as-Judge, regression testing и release gates.
В финале — сквозной проект, где вы самостоятельно спроектируете evaluation-контур для реального AI-продукта.
Сертификат
Успешно завершив курс, вы получите сертификат от платформы Stepik. Уже 1 учеников получили сертификат.
Что вы получите
- Структурированную систему знаний по LLM Evaluation — от базовых принципов до production-подходов.
- Практические шаблоны и подходы, которые можно использовать в своих AI-проектах.
- Финальный проект для портфолио и обсуждения на собеседованиях.
- Набор реальных кейсов, примеров ошибок и production-ситуаций, к которым можно возвращаться после курса.
- Более уверенное понимание того, как устроено качество современных AI-продуктов и как о нём говорить с разработчиками, аналитиками и бизнесом.
Нагрузка
2-3 часа в неделю