Чему вы научитесь
- Понимать устройство трансформера — не как «чёрный ящик», а через код и математику.
- Работать с текстом — токенизация, подготовка данных, embedding + positional encoding.
- Реализовывать Self-Attention — сначала без весов, затем с обучаемыми матрицами.
- Собирать Multi-Head Attention — сокращённая версия без лишней сложности.
- Строить Transformer Block — внимание, FFN (MLP), residual connections.
- Обучать модель — loss, backpropagation, оптимизатор, полноценный training loop.
- Генерировать текст — получить первую осмысленную генерацию с нуля.
- В результате вы создадите свою мини‑версию GPT и сможете дорабатывать её под свои задачи.
О курсе
Мы построим генеративный трансформер с нуля. Курс сфокусирован на минимально необходимом: от токенизации до механизма внимания, многослойного блока и цикла обучения.
Цель: пройти путь от чистого листа до генерации осмысленного текста, разобрав каждый этап через код и математику.
Результат: вы сами напишите модель и обучите ее.
Только код и математика.
Для кого этот курс
Этот курс создан для разработчиков и исследователей, которые хотят разобраться в устройстве генеративных трансформеров (GPT) не на уровне «просто поставь библиотеку», а через собственный код.
Подойдёт, если вы:
- знаете базовый Python и хотите углубиться в ML-архитектуры;
- уже пробовали использовать нейросети, но внутри всё оставалось «чёрным ящиком»;
- хотите понять, как работают token embedding, self-attention и обучение языковых моделей;
- ищете минимальный, но полный пример трансформера без лишних абстракций.
Не требуется:
- глубоких знаний математики (всё нужное объясняется на пальцах);
Итог: вы получите не просто теорию, а работающую модель, которую сможете запускать, дообучать и модифицировать.
Начальные требования
- Математика - колледж
- Python - начальный уровень
Преподаватели курса
1 193
Как проходит обучение
- Текстовый уроки
- Проверка знаний
Что вы получите
- ✅ Полный код трансформера — от токенизации до генерации текста, написанный своими руками.
- ✅ Чёткое понимание архитектуры — вы разберётесь, как работают эмбеддинги, attention, MLP и обучение на практике.
- ✅ Навык осознанной настройки — сможете менять параметры модели (число голов, слоёв, размер эмбеддингов) и видеть эффект.
- ✅ Базовую генеративную модель — готовую к запуску основу, которую можно развивать: добавлять датасеты, улучшать качество, экспериментировать.
- ✅ Уверенность — больше никакого «магического» восприятия LLM, только прозрачная механика.
Нагрузка
4-5