Чему вы научитесь
- Понимать устройство трансформера через код и математику, а не как «чёрный ящик».
- Работать с текстом: токенизация, BPE, подготовка данных, embedding и positional encoding.
- Реализовывать Self-Attention: сначала без весов, затем с обучаемыми матрицами Q, K, V.
- Собирать Multi-Head Attention в компактной, но полной версии.
- Строить Transformer Block: внимание, FFN, residual-связи и LayerNorm.
- Обучать модель: loss, backpropagation, оптимизатор и полный training loop.
- Генерировать текст и получить первую осмысленную генерацию с нуля.
- Собрать свою мини-версию GPT и дорабатывать её под свои задачи.
О курсе
Соберём GPT-трансформер с нуля на чистом Python: токенизация, эмбеддинги, механизм внимания, обучение и генерация текста. Каждый слой пишем и считаем сами, а не берём готовым из библиотеки, поэтому видно, как модель устроена внутри. 14 модулей, 108 уроков, 330 шагов и более 150 проверочных заданий. В конце у вас своя мини-GPT, которую можно запускать, дообучать и менять под свои задачи.
Для кого этот курс
Курс для разработчиков и исследователей, которые хотят разобраться в устройстве генеративных трансформеров (GPT) через собственный код, а не на уровне «поставил библиотеку и работает».
Подойдёт, если вы:
- знаете базовый Python и хотите углубиться в ML-архитектуры;
- уже пробовали нейросети, но внутри всё оставалось «чёрным ящиком»;
- хотите понять, как работают token embedding, self-attention и обучение языковых моделей;
- ищете минимальный, но полный пример трансформера без лишних абстракций.
Не нужно быть математиком: всё необходимое объясняется на простых примерах. На выходе не просто теория, а работающая модель, которую вы запускаете, дообучаете и меняете.
Начальные требования
Математика на уровне школы или первого курса: векторы, матрицы, немного производных. Всё нужное объясняем по ходу.
Python на начальном уровне: переменные, условия, циклы, функции
Преподаватели курса
1 236
Как проходит обучение
- Текстовые уроки, которые удобно читать и перечитывать в своём темпе.
- Проверка знаний после каждого модуля.
Что вы получите
- ✅ Полный код трансформера своими руками, от токенизации до генерации текста.
- ✅ Понимание архитектуры: как на практике работают эмбеддинги, attention, MLP и обучение.
- ✅ Навык осознанной настройки: меняете число голов, слоёв и размер эмбеддингов и сразу видите эффект.
- ✅ Базовую генеративную модель, готовую к запуску: можно добавлять датасеты и улучшать качество.
- ✅ Уверенность: LLM перестаёт быть «магией» и становится прозрачной механикой.
Нагрузка
4-5