Чему вы научитесь
- Понимать, как тестировать LLM-системы
- Создавать evaluation-кейсы для RAG
- Использовать LLM-as-a-Judge
- Находить регрессии перед релизом
- Строить процесс LLM Evaluation
О курсе
Как понять, что LLM действительно работает хорошо? В этом практическом курсе вы научитесь тестировать LLM и RAG-системы, создавать evaluation-кейсы, находить ошибки генерации и поиска, использовать LLM-as-a-Judge и сравнивать версии AI-ассистентов перед релизом. Курс поможет разобраться в основах LLM Evaluation и построить первый подход к проверке качества AI-систем без сложной математики и глубокого ML-бэкграунда.
Для кого этот курс
QA и тестировщики - для проверки LLM и AI-продуктов; разработчики LLM/RAG - для оценки качества своих систем; аналитики и менеджеры AI-проектов - для понимания качества и рисков; специалисты, которые хотят перейти в сферу AI.
Начальные требования
✅ Базовое понимание, как работают приложения и AI-сервисы
✅ Интерес к LLM, RAG и современным AI-технологиям
✅ Опыт в тестировании или разработке будет плюсом
❌ Не требуется глубокое знание машинного обучения
❌ Не нужна сильная математическая база или опыт обучения моделей
❌ Не требуется опыт работы с LLM Evaluation заранее
Преподаватели курса
1 474
Как проходит обучение
Короткие теоретические блоки → практика на реальных AI-сценариях → разбор ошибок → создание первого evaluation-подхода для LLM и RAG.
Что вы получите
- ✅ Понимание, как устроен процесс проверки качества AI-систем
- ✅ Практический опыт работы с подходами LLM Evaluation
- ✅ Готовый шаблон мышления для анализа ошибок LLM
- ✅ Понимание, как оценивать готовность AI-функций к запуску
- ✅ Базу для дальнейшего изучения тестирования RAG и AI-агентов
- ✅ Навык, который можно применять в реальных AI-проектах
Нагрузка
1 час в неделю