Курс на Stepik
Обложка курса «Маршрутизация в AI системах: стоимость, задержки и выбор LLM» на Stepik
Бесплатно

Маршрутизация в AI системах: стоимость, задержки и выбор LLM ★ 0.000

Открыть на
STEPIK.ORG

Routing AI-системы: от классификации запросов и выбора модели до управления стоимостью, задержками и сбоями провайдеров. Курс начинается с инцидента «GPT-4 на всё → $40k в месяц» и заканчивается routing-системой, которая экономит сотни тысяч долларов в год без потери качества. Семь модулей: зачем нужен routing, инженерия стоимости, оптимизация стоимости, инженерия задержек, routing-системы, обработка сбоев и продвинутый routing. Каждый модуль строит слой `app/routing/` нашей enterprise-AI-системы.

Показатель Текущие показатели Рост
Значение 🏆 Рейтинг 3 дн 7 дн 30 дн
Количество учеников на курсе «Маршрутизация в AI системах: стоимость, задержки и выбор LLM»Учеников на курсе 4
Сертификаты, выданные на курсе «Маршрутизация в AI системах: стоимость, задержки и выбор LLM»Сертификатов выдано 0
Отзывы о курсе «Маршрутизация в AI системах: стоимость, задержки и выбор LLM»Отзывов получено 0
Рейтинг курса «Маршрутизация в AI системах: стоимость, задержки и выбор LLM»Рейтинг курса 0.000
Уроки в курсе «Маршрутизация в AI системах: стоимость, задержки и выбор LLM»Количество уроков 28
Тесты в курсе «Маршрутизация в AI системах: стоимость, задержки и выбор LLM»Количество квизов 140
Обновления курса «Маршрутизация в AI системах: стоимость, задержки и выбор LLM»Обновления курса — —
Дата публикации курса «Маршрутизация в AI системах: стоимость, задержки и выбор LLM»Дата публикации курса — ———
Последнее обновление курса «Маршрутизация в AI системах: стоимость, задержки и выбор LLM»Последнее обновление — ———

Чему вы научитесь

  • Расчёт стоимости запроса, ценовые уровни моделей, бюджеты и квоты
  • Классификация запросов: правила, классификаторы на эмбеддингах и LLM-классификаторы
  • Быстрые и медленные пути обработки, анализ p95, бюджет задержки по маршрутам
  • Проектирование маршрутизации моделей и инструментов с учётом нескольких критериев
  • Цепочки резервных моделей, политики повторов и плавная деградация на уровне слоя маршрутизации
  • Пробный (canary) запуск новых моделей, A/B-маршрутизация и адаптивная настройка маршрутов

О курсе

Routing AI-системы: от классификации запросов и выбора модели до управления стоимостью, задержками и сбоями провайдеров. Курс начинается с инцидента «GPT-4 на всё → $40k в месяц» и заканчивается routing-системой, которая экономит сотни тысяч долларов в год без потери качества. Семь модулей: зачем нужен routing, инженерия стоимости, оптимизация стоимости, инженерия задержек, routing-системы, обработка сбоев и продвинутый routing. Каждый модуль строит слой `app/routing/` нашей enterprise-AI-системы.

Для кого этот курс

AI-инженеры, backend-разработчики и архитекторы, отвечающие за стоимость, задержки и надёжность LLM-сервисов в production. Рекомендуется пройти Курсы 1–4 программы (архитектура, RAG, ingestion, context engineering) или иметь эквивалентный опыт.

Начальные требования

  • Опыт коммерческой разработки на Python
  • Понимание async/await в Python и опыт работы с FastAPI
  • Опыт работы с LLM API (OpenAI/Anthropic) и понимание токенизации
  • Знание основ RAG и context engineering (рекомендуются Курсы 2 и 4)
  • Базовое понимание метрик сервиса: перцентили задержек, error rate, throughput

Преподаватели курса

Как проходит обучение

Каждый модуль: история production-инцидента → архитектура → реализация

Практические задания в репозитории enterprise-ai-assistant

Failure-first подход: сначала показываем, как система горит без маршрутизации, потом как это чинить

Расчёты на реальных цифрах: стоимость, задержки, экономия

Формат курса

Видео-лекции + архитектурные диаграммы + практические задания в Python

Что вы получите

  • Модуль app/routing/ для enterprise-ai-assistant (git tag v5.0-routing)
  • Калькулятор стоимости LLM-запросов и реестр моделей с ценовыми уровнями
  • Классификатор запросов по intent и сложности
  • Многокритериальный router с fallback-цепочками и деградированными режимами
  • Набор метрик стоимости и задержек по маршрутам для production-мониторинга

Нагрузка

20 часов видео + практические задания

Расскажите о курсе друзьям