Чему вы научитесь
- Узнаете, как работают AI-приложения, как разрабатываются (MLOps) и чем принципиально отличается их функциональное тестирование. Всё это — на десятках примеров различных AI-приложений.
- Разберетесь, какие Non-LLM и LLM-метрики позволяют на практике убедиться, что AI-приложение работает правильно.
- Увидите, как нефункциональное AI-тестирование может сэкономить проекту миллионы.
- Проведете функциональное тестирование AI-приложения, рассчитав нужные Non-LLM и LLM-метрики.*
- Протестируете нефункционально, в том числе состязательно, пять разных AI-моделей.*
- Создадите AI-приложение с подходом LLM-as-a-Judge (даже если никогда не программировали). И напишете для него автотесты (даже если никогда их не писали).*
О курсе
Для кого этот курс
Начальные требования
Python и продвинутая математика не требуются. Мы фокусируемся на сути и наметим ваш карьерный путь обзорами продвинутых тем верхнего уровня.
Изучаем глубоко:
Non-LLM метрики, LLM-метрики, промпт-инжиниринг, промпт-инъекции и джейлбрейкинг, нефункциональное тестирование AI, LLM-as-a-Judge
Обзорно—для карьерной карты:
AI-агенты, RAG-системы, Fine-Tuning, MLOps, тестирование данных, Gray-box тестирование AI, выбор AI-модели
Преподаватели курса
8 154
Как проходит обучение
Для профессии тестировщика исключительно важно уметь обрабатывать большие объемы текстовой информации.
Именно поэтому данный курс состоит не из записанных видео, а целиком и полностью представлен в текстовом виде.
В конце каждой главы есть тесты, позволяющие убедиться, что всё понято правильно.
* Получите практические навыки тестирования пяти ведущих AI-моделей прямо в браузере с помощью симулятора Mentorpiece Sim. API передовых AI-моделей платный, но мы за свой счет зачисляем каждому студенту 5 000 токенов при регистрации в симуляторе.
Что вы получите
- Понимание специфики AI-систем: вы разберетесь в архитектуре AI-приложений и процессах MLOps, осознав фундаментальные отличия тестирования нейросетей от классического ПО.
- Навык работы с метриками: вы научитесь на практике рассчитывать ключевые Non-LLM и LLM-метрики, которые являются единственным объективным способом подтвердить качество работы AI-модели.
- Опыт состязательного тестирования: вы освоите методы нефункционального тестирования, включая Adversarial Testing (поиск уязвимостей и сценариев отказа), что критически важно для безопасности и экономии бюджета проекта.
- Создание собственного решения: вы разработаете AI-приложение на базе подхода LLM-as-a-Judge и напишете для него автотесты, даже если у вас нет опыта в программировании.
- Актуальный рыночный профиль: вы получите базовую экспертизу AI-QA-инженера, что выделит вас на рынке труда.