Чему вы научитесь
- 1. Понимать, чем тестирование LLM отличается от классического QA и почему привычные подходы перестают работать
- 2. Формализовывать качество ответов и строить критерии оценки для недетерминированных систем
- 3. Проектировать тестовое покрытие для LLM-приложений: сценарии, риски, граничные случаи и приоритеты
- 4. Выбирать подход к оценке качества: ручная разметка, метрики, LLM-as-a-Judge и их комбинации
- 5. Создавать и поддерживать golden datasets как основу регрессионного тестирования
- 6. Строить evaluation-пайплайны и интегрировать проверки качества в CI/CD
- 7. Тестировать RAG-системы и локализовывать дефекты retrieval и generation
- 8. Тестировать AI-агентов: траектории, tool calling, состояние, память и многошаговые сценарии
- 9. Проводить red teaming и системно искать уязвимости, jailbreak и небезопасное поведение
- 10. Разрабатывать тестовую стратегию для AI-продукта и собирать полноценный кейс AI QA для портфолио
О курсе
Для кого этот курс
Начальные требования
1. Опыт в тестировании ПО от 2 лет (ручное или автоматизированное)
2. Понимание базовых концепций QA: тест-кейсы, баг-репорты, тест-дизайн
3. Общее представление о том, что такое LLM и чат-боты (на уровне пользователя)
4. Базовое владение JavaScript будет плюсом для практических модулей, но не обязательно
Преподаватели курса
2
Как проходит обучение
1. Каждый модуль — теория в текстовом формате с реальными примерами и кейсами из продакшена
2. После теории — практическое задание с конкретным артефактом: чек-лист, тест-набор, rubric оценки, тест-стратегия
3. Каждый модуль завершается небольшим тестом или практическим вопросом, чтобы не просто прочитать материал, а проверить понимание ключевых концепций на конкретных ситуациях.
4. Курс выстроен от простого к сложному: LLM-ответ → RAG → AI-агент
5. К финалу курса все артефакты складываются в готовый кейс для портфолио
Что вы получите
- 1. Методологию тестирования LLM и AI-агентов, которая работает независимо от инструмента
- 2. Фреймворк для формализации качества ответа в недетерминированных системах
- 3. Набор практических артефактов: критерии качества, тест-наборы, rubric оценки, тест-стратегия
- 4. Готовый сквозной кейс тестирования AI-системы для портфолио
- 5. Понимание, как встроить процесс оценки качества в CI/CD и донести результаты до команды