Курс на Stepik
Обложка курса «QA для LLM: тестирование нейросетей и AI-агентов» на Stepik
Бесплатно

QA для LLM: тестирование нейросетей и AI-агентов ★ 5.000

Открыть на
STEPIK.ORG

Как тестировать LLM и AI-агентов системно — не «запустил метрику», а как инженер. Курс от практикующего QA Lead с 13+ годами опыта: от критериев качества ответа и тест-дизайна для недетерминированных систем до red teaming, автоматизации evals в CI/CD и тест-стратегии для AI-продукта. Реальные кейсы и готовые артефакты в портфолио. Первый русскоязычный курс именно про QA-дисциплину тестирования AI.

Показатель Текущие показатели Рост
Значение 🏆 Рейтинг 3 дн 7 дн 30 дн
Количество учеников на курсе «QA для LLM: тестирование нейросетей и AI-агентов»Учеников на курсе 600
Сертификаты, выданные на курсе «QA для LLM: тестирование нейросетей и AI-агентов»Сертификатов выдано 0
Отзывы о курсе «QA для LLM: тестирование нейросетей и AI-агентов»Отзывов получено 4
Рейтинг курса «QA для LLM: тестирование нейросетей и AI-агентов»Рейтинг курса 5.000
Уроки в курсе «QA для LLM: тестирование нейросетей и AI-агентов»Количество уроков 47
Тесты в курсе «QA для LLM: тестирование нейросетей и AI-агентов»Количество квизов 105
Время прохождения курса «QA для LLM: тестирование нейросетей и AI-агентов»Время прохождения курса —
Обновления курса «QA для LLM: тестирование нейросетей и AI-агентов»Обновления курса — —
Дата публикации курса «QA для LLM: тестирование нейросетей и AI-агентов»Дата публикации курса — ———
Последнее обновление курса «QA для LLM: тестирование нейросетей и AI-агентов»Последнее обновление — ———
Сложность normal — ———

Содержание курса

Разделы в курсе «QA для LLM: тестирование нейросетей и AI-агентов» 11 разделов Уроки в курсе «QA для LLM: тестирование нейросетей и AI-агентов» 47 уроков Тесты в курсе «QA для LLM: тестирование нейросетей и AI-агентов» 105 тестов Время прохождения курса «QA для LLM: тестирование нейросетей и AI-агентов» 2 ч. Последнее обновление курса «QA для LLM: тестирование нейросетей и AI-агентов» обн. 8 сентября 2026

Модуль 0: Почему классический QA ломается на LLM

4 урока
1. Урок 0.1. О чём этот курс и как он устроен ↗
2. Урок 0.2. Шесть причин, почему классический QA ломается ↗
3. Урок 0.3. Карта дисциплины: LLM ≠ приложение ≠ RAG ≠ агент ↗
4. Урок 0.4. Что НЕ выбрасывается и куда дальше ↗

Модуль 1. Основы LLM для тестировщика

4 урока
1. Урок 1.1. Как LLM генерирует ответ ↗
2. Урок 1.2. Промпт — лишь часть системы ↗
3. Урок 1.3. Типология дефектов LLM ↗
4. Урок 1.4. Практика: воспроизведи «плавающий» баг ↗

Модуль 2. Что такое «качество ответа» — критерии

4 урока
1. Урок 2.1. Шесть измерений качества ответа ↗
2. Урок 2.2. Reference-based vs reference-free ↗
3. Урок 2.3. Rubric — превращаем «качество» в чек-лист ↗
4. Урок 2.4. Практика: преврати критерии приёмки в код ↗

Модуль 3. Тест-дизайн для LLM-систем

4 урока
1. Урок 3.1. Risk-based: когда тестов бесконечно много ↗
2. Урок 3.2. Позитив, негатив, границы, adversarial ↗
3. Урок 3.3. Тестовые данные и недетерминизм ↗
4. Урок 3.4. Практика: спроектируй тест-набор для фичи ↗

Модуль 4. Методы оценки качества

4 урока
1. Урок 4.1. Спектр методов и ручная оценка ↗
2. Урок 4.2. Метрики: BLEU/ROUGE и семантическая близость ↗
3. Урок 4.3. LLM-as-a-judge ↗
4. Урок 4.4. Практика: собери golden set и judge ↗

Модуль 5. Инструменты и автоматизация

4 урока
1. Урок 5.1. Ландшафт инструментов: матрица выбора ↗
2. Урок 5.2. Первый автотест и структура набора ↗
3. Урок 5.3. Регрессия, пороги и гейты ↗
4. Урок 5.4. Evals в CI/CD и практика ↗

Модуль 6. Тестирование RAG

4 урока
1. Урок 6.1. Архитектура RAG: где она ломается ↗
2. Урок 6.2. Retrieval-метрики: precision и recall ↗
3. Урок 6.3. Generation-метрики: faithfulness и relevance ↗
4. Урок 6.4. Практика: классифицируй дефекты RAG ↗

Модуль 7. Тестирование AI-агентов

5 уроков
1. Урок 7.1. От ответа к траектории: что такое агент ↗
2. Урок 7.2. Capability-based: тестируем много агентов ↗
3. Урок 7.3. Тестирование траектории и флоу ↗
4. Урок 7.4. Инструменты и состояние агента ↗
5. Урок 7.5. Практика: спроектируй capability-набор ↗

Модуль 8. Безопасность и red teaming

4 урока
1. Урок 8.1. Карта угроз: тестировщик как атакующий ↗
2. Урок 8.2. Prompt injection и jailbreak ↗
3. Урок 8.3. Утечки, вредный контент и действия ↗
4. Урок 8.4. Практика: проведи red-team-сессию ↗

Модуль 9. Процесс и роль в команде

5 уроков
1. Урок 9.1. Тест-стратегия для AI-продукта ↗
2. Урок 9.2. Репортинг недетерминированных дефектов ↗
3. Урок 9.3. Метрики качества для стейкхолдеров ↗
4. Урок 9.4. Online-evals и observability в проде ↗
5. Урок 9.5. Практика: напиши тест-стратегию ↗

Модуль 10. Итоговый проект

4 урока
1. Урок 10.1. Сквозной тестовый контур: что это ↗
2. Урок 10.2. Сборка контура по слоям ↗
3. Урок 10.3. Оформление кейса в портфолио ↗
4. Урок 10.4. Практика: собери тестовый контур ↗