Чему вы научитесь
- Узнаете, как работают AI-приложения, как разрабатываются (MLOps) и чем принципиально отличается их функциональное тестирование. Всё это — на десятках примеров различных AI-приложений.
- Разберетесь, какие Non-LLM и LLM-метрики позволяют на практике убедиться, что AI-приложение работает правильно.
- Увидите, как нефункциональное AI-тестирование может сэкономить проекту миллионы.
- Проведете функциональное тестирование AI-приложения, рассчитав нужные Non-LLM и LLM-метрики.*
- Протестируете нефункционально, в том числе состязательно, пять разных AI-моделей.*
- Создадите AI-приложение с подходом LLM-as-a-Judge (даже если никогда не программировали). И напишете для него автотесты (даже если никогда их не писали).*
О курсе
Для кого этот курс
Начальные требования
Курс не требует предварительной подготовки, IT-знаний или предварительного знания тестирования.
Это вводный курс, поэтому мы не стали его перегружать — в нем минимум математических формул, а продвинутые техники AI-тестирования (тестирование AI-агентов; моделей, прошедших FineTuning и т.п.) рассматриваются обзорно.
Преподаватели курса
7 596
Как проходит обучение
Для профессии тестировщика исключительно важно уметь обрабатывать большие объемы текстовой информации.
Именно поэтому данный курс состоит не из записанных видео, а целиком и полностью представлен в текстовом виде.
В конце каждой главы есть тесты, позволяющие убедиться, что всё понято правильно.
* Для практической тренировки можно использовать упражнения в Mentorpiece Sim. Это симулятор собеседования у QA-сеньора на базе AI. Это некоммерческий тренажер, который можно использовать без подписки. Необходимо платить только за потраченные токены (мы с радостью сделали бы Sim полностью бесплатным, но приходится использовать дорогие AI-модели).
Что вы получите
- Понимание специфики AI-систем: вы разберетесь в архитектуре AI-приложений и процессах MLOps, осознав фундаментальные отличия тестирования нейросетей от классического ПО.
- Навык работы с метриками: вы научитесь на практике рассчитывать ключевые Non-LLM и LLM-метрики, которые являются единственным объективным способом подтвердить качество работы AI-модели.
- Опыт состязательного тестирования: вы освоите методы нефункционального тестирования, включая Adversarial Testing (поиск уязвимостей и сценариев отказа), что критически важно для безопасности и экономии бюджета проекта.
- Создание собственного решения: вы разработаете AI-приложение на базе подхода LLM-as-a-Judge и напишете для него автотесты, даже если у вас нет опыта в программировании.
- Актуальный рыночный профиль: вы получите базовую экспертизу AI-QA-инженера, что выделит вас на рынке труда.