Чему вы научитесь
- проектировать LLM-сервис слоями: transport, service, provider, config
- отдавать ответ модели потоком по SSE и понимать, когда нужен WebSocket
- держать отказы провайдера: ретраи с backoff, circuit breaker, фолбэк-провайдер
- ограничивать нагрузку rate limiting'ом, очередями и бюджетом токенов
- кэшировать ответы с TTL и считать стоимость запросов в деньгах
- валидировать структурированный вывод модели и мягко деградировать при сбое
- логировать запросы с request_id и мерить TTFT и p95 из данных, а не на глаз
- тестировать сервис с мок-LLM — детерминированно, без ключей и сети
- упаковать сервис в Docker и подключить российский GigaChat с OAuth-refresh
О курсе
Превратите вызов LLM в прод-сервис на FastAPI: стриминг ответов (SSE), rate limiting, ретраи и circuit breaker под отказы, кэш и бюджет токенов, structured output, логи и метрики, тесты на мок-LLM. 149 задач на код с автопроверкой в браузере — без API-ключа и VPN. В финале — сервис поддержки в Docker со скрытыми тестами. Нужен опыт вызова LLM из Python.
Для кого этот курс
- Python-разработчикам и бэкендерам, кто уже вызывал LLM из кода и хочет превратить прототип в сервис, готовый к нагрузке и отказам.
- Тем, у кого «в ноутбуке работает», но неясно, как это стримить, кэшировать, тестировать и не разориться на токенах.
- Выпускникам курсов линейки по агентам и RAG: их бот здесь становится прод-сервисом со стримингом, устойчивостью и тестами.
- Backend-инженерам, кому нужен production-слой вокруг LLM с автопроверкой каждого шага, а не обзорный курс «FastAPI + нейросети».
Начальные требования
Что нужно:
- База Python: функции, классы, словари и списки, pip/venv, чтение JSON.
- Опыт вызова LLM из Python: массив messages, роли, разбор ответа модели. Если этого пока нет — пройдите бесплатный курс линейки «LLM, RAG и AI-агенты на Python».
- Любой компьютер с браузером; для 5 локальных лаб — Python, Docker и (для одной лабы) Redis на своём ПК.
Что НЕ нужно:
- Не нужен API-ключ, платный аккаунт, VPN или зарубежная карта: автопроверка работает на встроенном MockLLM.
- Не нужен опыт FastAPI, asyncio и Docker — вводим их внутри курса, с нуля и прикладно.
- Не нужен LangChain и другие фреймворки: стриминг, ретраи, кэш и тесты собираем руками.
- Не нужны SQL/БД и Kubernetes: капстоун — Docker, оркестрация за рамками курса.
Преподаватели курса
10 475
Как проходит обучение
- Формат: 9 модулей, 37 уроков и 359 коротких шагов; обучение проходит в свободном темпе.
- Практика: 149 code-задач с автопроверкой прямо в браузере; решения можно отправлять повторно.
- Теория: короткие текстовые объяснения, примеры, тесты и разборы ошибок.
- Поддержка: вопросы и обсуждения доступны под каждым шагом.
Что вы получите
- Навык собирать production-сервис вокруг LLM на FastAPI: стриминг, отказоустойчивость, rate limiting, кэш и стоимость, structured output, наблюдаемость и тесты.
- Капстоун — сервис поддержки ShopDB в Docker со скрытыми контрактными тестами. Готовый артефакт для резюме и портфолио.
- Прод-чеклист «LLM-сервис перед релизом» — шпаргалка, которую забираете с собой.
- Сертификат Stepik при наборе проходного балла.
- Бессрочный доступ к материалам и будущим обновлениям (курс содержит обновляемый урок про GigaChat).
Нагрузка
~4 ч в неделю (весь курс ~25–30 часов, ~6 недель)