Чему вы научитесь
- Понимать модель угроз LLM-приложений: где реально “дырки” у RAG и AI-агентов (user input, RAG-корпус, tools, память, логи, бюджет).
- Делать threat modeling для LLM-фичи: активы → угрозы → контроли → остаточные риски → план работ.
- Отличать галлюцинации от инцидентов безопасности (утечка данных, запрещённые действия, невалидные контракты, перерасход).
- Воспроизводить на практике prompt injection (direct) на локальном учебном сервисе и понимать, почему “запреты в промпте” не работают как защита.
- Защищаться от indirect prompt injection / RAG-poisoning: когда “вредные инструкции” прячутся в документах и ломают поведение системы.
- Правильно разделять инструкции и данные (instruction hierarchy): чтобы retrieved-контент и пользовательский ввод не могли “перепрошить” правила.
- Строить policy layer вне модели: “LLM предлагает — код решает”, с отказами, фоллбеками и безопасными дефолтами.
- Проектировать безопасный контур RAG: чанкинг/контекст так, чтобы снижать риск утечек и заражения инструкциями; ограничение контекста и приоритет источников.
- Делать grounded-ответы: режим “только по источникам”, ссылки/цитирование и контроль provenance (откуда взялась информация).
- Проектировать и защищать tools (инструменты агента): почему tools опаснее текста и как предотвращать “excessive agency”.
- Внедрять allowlist инструментов и разрешённых параметров (что агенту вообще позволено делать).
- Настраивать scopes/permissions: агент не должен иметь “админские” полномочия по умолчанию.
- Делать approvals (human-in-the-loop): опасные действия требуют подтверждения (и логируются).
- Строить sandbox-поведение и контроль побочных эффектов (идемпотентность, безопасные ретраи, запрет опасных операций).
- Защищать приложение от insecure output handling: почему нельзя “исполнять” то, что выдала модель (SQL/команды/URL/JSON).
- Делать строгий структурированный вывод: JSON Schema / Pydantic, safe parsing, обработка ошибок как часть протокола.
- Защищаться от утечек: secret/PII leakage через ответы, логи, и
О курсе
Для кого этот курс
Начальные требования
— Обучение построено вокруг локального учебного приложения (UI + API + RAG + tools), которое вы запускаете у себя на компьютере и подключаете к реальному LLM через OpenAI API.
— В каждом модуле: короткая теория → демонстрация типового провала (injection/утечки/tool-abuse/cost) → практика “воспроизвёл → починил” → мини-квиз/чек-лист.
— Все задания делаются на вашем стенде и ваших синтетических данных (без ПДн/секретов).
— В финале вы соберёте “закалённую” версию сервиса и прогоните red-team test suite + security-gates перед релизом.
— Доступ к материалам — навсегда, курс будет обновляться по мере изменений в инструментах и практиках.
Преподаватели курса
2 107
Как проходит обучение
Курс ориентирован на практику и встроен в реальную работу маркетолога.
— Материал подаётся в структурированных шагах: объяснение концепции → разбор примера → пошаговая инструкция.
— К каждому блоку даются шаблоны промптов, чек-листы и структуры, которые можно сразу использовать под свои задачи.
— Практические задания привязаны к реальным кейсам: вы собираете агентов под свои продукты, а не “абстрактные” примеры.
— Можно проходить в своём темпе: вернуться к шагам, пересобрать связки, обновить шаблоны под новые проекты.
— В комментариях к шагам можно задавать вопросы и смотреть разборы типичных ошибок других участников.
На выходе у вас не просто понимание, «как это могло бы работать», а свои рабочие сценарии и настроенные агенты.
Что вы получите
- Репозиторий-шаблон безопасного LLM-сервиса (RAG + tools + API + UI).
- Policy-layer “LLM предлагает — код решает”.
- Защита от prompt injection и indirect injection (RAG-poisoning).
- Контроли для tools: allowlist, scopes/permissions, approvals (human-in-the-loop).
- Строгий структурированный вывод: JSON Schema/Pydantic + safe parsing.
- Защита от утечек: redaction/маскирование, политика логов и ретеншн.
- Контроль стоимости и стабильности: лимиты токенов/времени/tool-calls, stop-conditions (anti-loop).
- Red-team test suite (набор сценариев атак) для регресс-проверки.
- Security-gates в CI/CD, чтобы не выпускать регресс в прод.
- Релизный чек-лист и короткий runbook “что делать при инциденте”.