Чему вы научитесь
- Запускать модели в vLLM на CPU и Ollama Cloud и работать с ними через один OpenAI-совместимый клиент в FastAPI
- Строить продвинутый и мультимодальный RAG: переформулировка запроса, иерархический поиск, граф знаний, поиск по PDF и скриншотам в Qdrant
- Получать от модели ответ по JSON-схеме и проверять его через Pydantic
- Оценивать качество эталонными кейсами, метриками поиска и LLM-судьёй и ловить регрессии в CI через pytest
- Трассировать пайплайн в Phoenix, собирать метрики инференса и настраивать алерты
- Защищать сервис от инъекций в промпт и утечек, маскировать персональные данные по 152-ФЗ и вести модель угроз
- Проводить нагрузочный тест, настраивать очереди и кэш, считать стоимость запроса и переключаться на резервную модель
О курсе
Продолжение курса «LLM для Python-разработчиков: от RAG до агентов». Как довести LLM-сервис до продакшена: vLLM и Ollama Cloud, мультимодальный RAG, оценка качества, мониторинг, безопасность и стоимость запросов.
Для кого этот курс
— Python-разработчики, которые уже писали RAG-сервис или прошли первую часть курса
— Бэкенд-инженеры, которым нужно запустить LLM-сервис в продакшене и сопровождать его
— Техлиды, которые отвечают за качество, безопасность и стоимость LLM-функций
— Те, у кого пилот уже работает, но нет тестов качества, мониторинга и расчёта нагрузки
— Бэкенд-инженеры, которым нужно запустить LLM-сервис в продакшене и сопровождать его
— Техлиды, которые отвечают за качество, безопасность и стоимость LLM-функций
— Те, у кого пилот уже работает, но нет тестов качества, мониторинга и расчёта нагрузки
Начальные требования
- ✅ Уверенное владение Python 3
- ✅ Опыт работы с FastAPI / aiohttp / аналогами
- ✅ Понимание RAG и эмбеддингов на уровне первой части курса
- ✅ Умение работать с Docker и Docker Compose
- ❌ Не требуется: видеокарта, платные API, знание ML и линейной алгебры
Преподаватели курса
4 754
Как проходит обучение
- 📚 Конспекты с кодом, схемами и выводом запусков
- 💻 Задачи на программирование с автоматической проверкой
- 🧪 Тесты после каждого урока
- 🛠️ Финальный проект по шагам: код каждого урока лежит в отдельном теге на GitHub
- 💬 Форум поддержки: вопросы к автору, обсуждение архитектурных решений
Сертификат
Успешно завершив курс, вы получите сертификат от платформы Stepik. Уже 1 учеников получили сертификат.
Что вы получите
- 📂 Проект в портфолио: ассистент инженера на FastAPI, Qdrant, vLLM и Ollama Cloud
- 🧪 Набор эталонных кейсов и регрессионных тестов качества для CI
- 🛡️ Модель угроз и чек-лист red team для LLM-сервиса
- 📊 Мониторинг LLM-сервиса: трейсы в Phoenix, метрики инференса и алерты
Нагрузка
5