Чему вы научитесь
- Анализировать реальные атаки на LLM, RAG и AI-агентов
- Понимать, почему prompt injection и jailbreak являются фундаментальной проблемой LLM
- Выявлять и тестировать prompt injection и jailbreak-атаки на практике
- Понимать, как и почему обходятся alignment-механизмы моделей
- Разбирать практический кейс снятия alignment-защиты с локальной модели с помощью Heretic
- Анализировать, как количество параметров модели влияет на устойчивость к jailbreak
- Понимать, как параметры генерации влияют на восприимчивость модели к атакам
- Работать с локальными LLM через Ollama и тестировать их безопасность
- Разбираться в архитектуре LLM и в причинах их уязвимостей
- Анализировать ML pipeline как поверхность атаки
- Выявлять data poisoning и supply chain атаки в AI-стеке
- Понимать риски, связанные с моделями, датасетами, адаптерами и AI-инструментами
- Разбираться в архитектуре AI-агентов и новых поверхностях атаки
- Понимать, как работают атаки через память, контекст, инструменты и MCP
- Анализировать Tool Poisoning как одну из ключевых атак на MCP-экосистему
- Разбирать MCP Server Supply Chain Attack и понимать, как через инструменты компрометируют агента
- Проводить базовое red teaming AI-систем
- Использовать OWASP Top 10 for LLM, MITRE ATLAS и NIST AI RMF для анализа и защиты AI-продуктов
- Строить более системный взгляд на безопасность AI — от модели до действий агента
О курсе
🎯 Практический курс по безопасности AI, LLM и AI-агентов.
Вы разберёте реальные атаки на современные AI-системы: prompt injection, jailbreak, снятие alignment, data poisoning, MCP Tool Poisoning, агентные атаки и supply chain-риски.
На курсе вы не только изучите OWASP Top 10 for LLM, MITRE ATLAS и NIST AI RMF, но и поймёте, почему AI-системы уязвимы по своей природе, как эти атаки выглядят на практике и как выстраивать защиту на уровне модели, данных, памяти, инструментов и всей архитектуры AI-продукта.
Для кого этот курс
* Разработчики, работающие с LLM, RAG и AI-агентами
* Специалисты по информационной безопасности, которым нужен новый вектор компетенций
* AppSec, Pentest, Red Team и SOC специалисты
* ML-инженеры и Data Scientists, которые хотят лучше понимать угрозы своим системам
* DevOps и MLSecOps инженеры, внедряющие локальные или production AI-решения
* Технические лиды и архитекторы, отвечающие за AI-функциональность в продукте
* Все, кто хочет перейти в AI Security и получить практическую базу для входа в это
направление
Начальные требования
* Базовое понимание Python будет полезно
* Желательно общее представление о том, как работают API и современные AI-сервисы
* Плюсом будет базовое знакомство с LLM, Ollama или локальным запуском моделей
* Опыт в ИБ, разработке, DevOps или ML поможет быстрее влиться в материал
Курс не требует глубокого академического бэкграунда в машинном обучении.
Все ключевые идеи объясняются последовательно: от устройства моделей и пайплайна — к атакам и защите.
Преподаватели курса
10
Как проходит обучение
Видеоуроки с разбором теории и реальных кейсов
Практические задания с атаками на LLM
Квизы для закрепления материала
Пошаговый переход от теории к практике
Что вы получите
- Системное понимание безопасности современных AI-систем
- Практический опыт тестирования LLM на уязвимости
- Понимание того, как работают jailbreak, prompt injection и alignment bypass
- Навык анализа архитектуры AI-агентов и новых поверхностей атаки
- Понимание рисков MCP, инструментов, памяти и агентных интеграций
- Разбор реальных атак на supply chain, данные и модели
- Работу с OWASP Top 10 for LLM, MITRE ATLAS и NIST AI RMF
- Базу для старта или усиления карьеры в AI Security
- Материалы, практики и фреймворки, которые можно применять дальше в работе
- Сертификат Stepik
Нагрузка
4-5 часов в неделю