Чему вы научитесь
- Определять риски AI-приложения и составлять план проверок по его ответам, источникам, инструментам и действиям
- Писать типизированный HTTP-клиент на HTTPX и Pydantic, различать ошибки транспорта, HTTP и контракта ответа
- Изолировать состояние сценариев через фикстуры pytest и обеспечивать независимость повторных запусков
- Параметризовать проверки с устойчивыми идентификаторами случаев и сохранять данные для воспроизведения ошибок
- Создавать эталонные наборы случаев с входными данными, исходным состоянием и проверяемыми ожиданиями
- Подбирать позитивные, негативные и пограничные случаи для разных категорий ошибок AI-приложения
- Проверять эквивалентные перефразировки и метаморфные свойства без требования дословного совпадения ответов
- Версионировать наборы данных и разметку, разделять выборки для разработки, регрессий и независимой проверки
- Проверять JSON-схему, обязательные поля и ограничения структурированного ответа модели
- Разбивать ответы на отдельные утверждения и сверять их с подтверждающими фрагментами исходных документов
- Проверять корректность цитат, идентификаторов и редакций документов, обнаруживать ссылки на устаревшие источники
- Проверять обоснованный отказ от ответа, когда в доступных источниках недостаточно сведений
- Разделять детерминированные проверки и смысловое оценивание с участием человека или LLM-судьи
- Проверять схемы и аргументы инструментов, выявлять недопустимые вызовы и ошибки их выполнения
- Анализировать последовательность действий агента по трассировке, учитывая допустимые альтернативные пути решения
- Сопоставлять ответ агента с фактическим состоянием заявки и подтверждать успешность или неуспешность действия
- Проверять полномочия пользователя, обязательное подтверждение изменений и защиту от повторной записи
- Воспроизводить прямые попытки подмены инструкций и проверять, что они не приводят к запрещённым действиям
- Проверять внедрение инструкций через документы и результаты инструментов без передачи им полномочий агента
- Выявлять нарушения разграничения доступа, утечки данных и раскрытие чувствительных сведений в ответах и журналах
- Рассчитывать показатели качества по категориям рисков с учётом успешных, ошибочных и неопределённых результатов
- Измерять повторяемость проверок и отличать колебания результатов от подтверждённого изменения поведения
- Калибровать LLM-судью на человеческой разметке, выявлять ложные одобрения, ложные отказы и ошибки оценщика
- Связывать запросы, ответы и вызовы инструментов по трассировкам с учётом версий модели, промпта и конфигурации
- Проверять таймауты, ошибки модели и инструментов, повторы и неполные наблюдения без ложных положительных результатов
- Считать токены, стоимость и задержки по сохранённым данным, различая реальные измерения и смоделированные значения
- Сравнивать исходную и изменённую конфигурации на одном наборе случаев и находить регрессии по каждому случаю
- Проверять чувствительность тестов с помощью контролируемых дефектов ответов, промптов и инструментов
- Разделять обязательные локальные проверки и необязательные обращения к внешней модели при запуске в CI
- Настраивать критерии блокировки и дополнительной проверки выпуска, готовить отчёт с доказательствами, ограничениями и решением BLOCK, REVIEW или RELEASE
О курсе
Курс по автоматизированному тестированию LLM-приложений для QA и Python-разработчиков. Вы создадите на Python и pytest собственный набор проверок для Service Desk AI: факты и ссылки на источники, действия агентов, права доступа, безопасность и регрессии. Подключите тесты к CI и в итоговой работе обоснуете решение о выпуске по результатам сравнения версий. Практические задания проверяет преподаватель, поддержка — в комментариях.
Для кого этот курс
— QA/AQA-инженеры, которые уже пишут тесты на Python и pytest и хотят научиться проверять ответы LLM-приложений, вызовы инструментов, права доступа и регрессии между версиями.
— SDET, QA Lead и инженеры, отвечающие за качество AI-функций, которым нужно определять критерии приёмки, собирать воспроизводимые доказательства ошибок и обосновывать решение о выпуске.
— Python- и Backend-разработчики, которые интегрируют языковые модели и инструменты с HTTP-сервисами и хотят проверять корректность ответов, побочные эффекты и безопасность поведения приложения.
— Инженеры, которые занимаются оценкой качества AI-приложений и хотят разобраться в эталонных наборах данных, смысловых оценках, калибровке LLM-судьи и измерении изменений качества на фиксированной выборке.
Начальные требования
📚 Что нужно знать
- Python и pytest: уверенно писать и запускать тесты, работать с фикстурами и проверками результатов.
- HTTP и JSON: понимать запросы к API и структуру ответов.
- Git и терминал: работать с репозиторием и запускать Python-проекты.
- Основы LLM: понимать назначение промпта и вызова инструмента.
Разрабатывать собственного агента или обучать языковую модель для прохождения курса не нужно.
🧰 Что понадобится
- Python 3.12, uv 0.13.0 и Git. Проверенное окружение использует CPython 3.12.2.
- Компьютер для запуска локального учебного приложения и тестов pytest. Docker не требуется.
Обязательные задания выполняются без платных запросов к моделям и API-ключей. Сравнения с реальными моделями доступны отдельно, по желанию; при их использовании возможны расходы.
Преподаватели курса
2 594
Как проходит обучение
🧪 Каждый тест отвечает на конкретный риск AI-приложения. После объяснения и вопросов вы добавляете проверки в Python-проект и видите результат на готовом Service Desk AI.
- 📚 Готовите эталоны: фиксируете ожидаемые факты, цитаты и ответы для сравнения.
- 🔐 Проверяете действия: исследуете вызовы инструментов, права доступа и побочные эффекты.
- ✅ Ловите регрессии: запускаете набор проверок в CI и оформляете вывод для решения о выпуске.
Что вы получите
- Собственный Python-проект автоматизированного тестирования готового приложения Service Desk AI с воспроизводимыми проверками через HTTP API
- Типизированный клиент HTTPX/Pydantic, фикстуры pytest, параметризованные сценарии и сохранённые результаты неуспешных проверок
- Версионируемые эталонные наборы случаев для проверки ответов, источников и регрессий между конфигурациями
- Проверки структуры ответов, подтверждения фактов, актуальности цитат, обоснованного отказа и смыслового соответствия
- Автоматизированные проверки контрактов инструментов, последовательности вызовов, полномочий и фактических изменений заявок
- Набор негативных сценариев для prompt injection, разграничения доступа, защиты данных и запрещённых действий агента
- Расчёты метрик качества и повторяемости, результаты калибровки LLM-судьи на размеченных примерах
- Проверки трассировок, ошибок выполнения, времени ответа, расхода токенов и стоимости по сохранённым наблюдениям
- Скрипты сравнения исходной и изменённой конфигураций, регрессионный набор и правила проверок в CI
- Итоговый пакет приёмки изменённого Service Desk AI: результаты прогонов, подтверждённые регрессии, оценка рисков и обоснованное решение о выпуске
Нагрузка
4–5 часов в неделю