Чему вы научитесь
Чему вы научитесь
- проектировать LLM-сервис слоями: transport, service, provider, config
- отдавать ответ модели потоком по SSE и понимать, когда нужен WebSocket
- держать отказы провайдера: ретраи с backoff, circuit breaker, фолбэк-провайдер
- ограничивать нагрузку rate limiting'ом, очередями и бюджетом токенов
- кэшировать ответы с TTL и считать стоимость запросов в деньгах
- валидировать структурированный вывод модели и мягко деградировать при сбое
- логировать запросы с request_id и мерить TTFT и p95 из данных, а не на глаз
- тестировать сервис с мок-LLM — детерминированно, без ключей и сети
- упаковать сервис в Docker и подключить российский GigaChat с OAuth-refresh
О курсе
Вызвать LLM из Python вы уже умеете. Но между `response = client.complete(...)` и сервисом, который выдержит живых пользователей, — целый слой инженерии: ответ надо стримить, провайдер падает, токены стоят денег, вывод модели приходит кривым, а всё это нужно логировать, мерить и тестировать. Этот курс — про то, как собрать такой сервис своими руками и довести его до Docker.
Здесь вы строите прод-сервис по слоям, а не копируете «FastAPI + LLM за пять минут». Стриминг по каноническому SSE-контракту, rate limiting и очереди, ретраи с circuit breaker и фолбэком, кэш с TTL и бюджет токенов, structured output с деградацией, логи с request_id и метрики TTFT/p95 — каждый слой вы пишете и понимаете сами. Один сквозной сервис поддержки магазина ShopDB растёт от ядра чата до прод-версии в Docker.
Это настоящий тренажёр: 149 задач на код проверяются автоматически прямо в браузере. LLM в проверке заменена детерминированным MockLLM, поэтому всё работает без API-ключа, VPN и зарубежной карты. Тот же приём вы освоите как навык: отдельный модуль учит тестировать LLM-код мок-провайдером. Живой стек — реальный SSE в терминале, Redis, GigaChat и Docker — вы попробуете в 5 локальных лабах на своём компьютере.
Особое внимание — тому, что обычно узнают на проде больно: время в задачах детерминировано (TTL, backoff, rate limit считаются от аргумента, а не от системных часов), симуляция отказов провайдера встроена в тренажёр, а российский стек — не риторика, а практика: обновляемый урок про GigaChat с автопроверяемой OAuth-refresh-логикой и живой лабой.
В финале вы собираете капстоун: сервис поддержки, который проходит скрытые контрактные тесты по всем эндпоинтам и слоям и запускается в Docker. Репозиторий с сервисом — это артефакт для резюме и портфолио.
Первый модуль и первый практический урок открыты бесплатно — соберите первый хендлер и пройдите автопроверку за 20 минут, прежде чем покупать.
Что вы получаете
- Навык собирать production-сервис вокруг LLM на FastAPI: стриминг, отказоустойчивость, rate limiting, кэш и стоимость, structured output, наблюдаемость и тесты.
- Капстоун — сервис поддержки ShopDB в Docker со скрытыми контрактными тестами. Готовый артефакт для резюме и портфолио.
- Прод-чеклист «LLM-сервис перед релизом» — шпаргалка, которую забираете с собой.
- Сертификат Stepik при наборе проходного балла.
- Бессрочный доступ к материалам и будущим обновлениям (курс содержит обновляемый урок про GigaChat).
О курсе
Для кого этот курс
- Python-разработчикам и бэкендерам, кто уже вызывал LLM из кода и хочет превратить прототип в сервис, готовый к нагрузке и отказам.
- Тем, у кого «в ноутбуке работает», но неясно, как это стримить, кэшировать, тестировать и не разориться на токенах.
- Выпускникам курсов линейки по агентам и RAG: их бот здесь становится прод-сервисом со стримингом, устойчивостью и тестами.
- Backend-инженерам, кому нужен production-слой вокруг LLM с автопроверкой каждого шага, а не обзорный курс «FastAPI + нейросети».
Начальные требования
Что нужно:
- База Python: функции, классы, словари и списки, pip/venv, чтение JSON.
- Опыт вызова LLM из Python: массив messages, роли, разбор ответа модели. Если этого пока нет — пройдите бесплатный курс линейки «LLM, RAG и AI-агенты на Python».
- Любой компьютер с браузером; для 5 локальных лаб — Python, Docker и (для одной лабы) Redis на своём ПК.
Что НЕ нужно:
- Не нужен API-ключ, платный аккаунт, VPN или зарубежная карта: автопроверка работает на встроенном MockLLM.
- Не нужен опыт FastAPI, asyncio и Docker — вводим их внутри курса, с нуля и прикладно.
- Не нужен LangChain и другие фреймворки: стриминг, ретраи, кэш и тесты собираем руками.
- Не нужны SQL/БД и Kubernetes: капстоун — Docker, оркестрация за рамками курса.
10 261