Чему вы научитесь
- Строить eval-контур для LLM: unit-тесты промптов, референс-кейсы, отчёты.
- Настраивать A/B-эксперименты для промптов/цепочек/моделей и читать результаты.
- Применять LLM-оценку (LLM-based judges) и комбинировать её с правилами/хард-метриками.
- Использовать LangSmith, Ragas, OpenAI Evals для автоматической оценки качества.
- Проектировать PromptOps: версии промптов в YAML, фича-флаги, откаты и промо-каналы.
- Внедрять quality-гейты в CI/CD: стоп-релиз при регрессе метрик, базовые пороги.
- Собирать synthetic data для регресс-тестов и покрытия edge-кейсов.
- Мерить faithfulness / groundedness / precision/recall / citation-rate в RAG-цепочках.
- Строить дашборды качества/скорости/стоимости и выносить их в продуктовую отчётность.
- Мониторить latency (p50/p95/p99), cost-per-request, частоту ошибок и таймаутов.
- Настраивать алёрты: деградация качества, всплески стоимости, рост отказов/ретраев.
- Детектировать дрейф данных и качества (drift detection) и запускать автоперепроверки.
- Управлять бюджетом LLM: лимиты, алёрты бюджета, недельные/месячные отчёты.
- Повышать надёжность: ретраи с джиттером, таймауты, circuit-breaker, идемпотентность.
- Вводить политику логов: PII-санитизация, ретеншн, доступы, маскирование.
- Проводить safety-тесты и red-teaming: jailbreak-наборы, токсичность, конфиденциальность.
- Подключать обсервабилити-трейсинг промптов/контекстов/вызовов инструментов.
- Оформлять SLO/SLA для LLM-фич и готовить runbook’и для инцидентов.
- Делать канареечные релизы промптов/моделей и безопасные откаты.
- Организовывать портфолио артефактов: eval-сеты, отчёты, дашборды, чек-листы релиза.
О курсе
Практический курс по LLMOps. Соберёте продакшн-контур для LLM: eval-фреймворк (LangSmith/Ragas/OpenAI Evals), quality-гейты в CI/CD, алёрты на дрейф, монитринг скорости и стоимости, управление промпт-версиями и безопасность. Плюс профессиональные блоки: synthetic data для тестов, LLM-based judges, отчётность для релиз-комитета и runbook’и инцидентов.
Для кого этот курс
ML/DS инженеры, которые уже используют GPT, но хотят перейти от экспериментов к стабильному продакшну.
Разработчики и data-инженеры, которым нужно встроить LLM в пайплайн или продукт.
Стартаперы и предприниматели, планирующие запуск сервисов на основе GPT и ищущие способы контролировать качество и стоимость.
Аналитики и продакт-менеджеры, которым важны метрики и измеримые результаты от LLM-продуктов.
Начальные требования
Базовые навыки работы с Python.
Понимание основ машинного обучения или работы нейросетей.
Опыт взаимодействия с GPT-моделями (через API или LangChain) будет плюсом, но не обязателен — всё нужное разберём.
Преподаватели курса
2 111
Как проходит обучение
Теория объясняется короткими живыми уроками с акцентом на практику.
После каждого модуля — задания и мини-проекты.
В курсе есть один большой итоговый проект: построение RAG-системы с автоматической оценкой качества и мониторингом.
Все задания проверяются автоматически или снабжены эталонными решениями.
Обучение полностью онлайн, в удобном для вас темпе, с доступом ко всем материалам сразу после оплаты.
Сертификат
Успешно завершив курс, вы получите сертификат от платформы Stepik. Уже 6 учеников получили сертификат.
Что вы получите
- Навыки и знания по LLMOps и оценке качества LLM, востребованные на рынке.
- Понимание, как строить надёжные LLM-продукты (RAG, агенты, чат-боты) и доводить их до продакшна.
- Умение работать с ключевыми инструментами: LangSmith, Ragas, OpenAI Evals, PromptLayer.
- Готовый проект в портфолио: RAG-система с автоматической оценкой качества и мониторингом.
- Практику: настройка метрик, A/B-тестов, synthetic data, мониторинга стоимости и латентности.
- Сертификат Stepik, подтверждающий прохождение курса.
- Доступ к материалам курса и обновлениям навсегда.