Чему вы научитесь
- Понимать устройство трансформера через код и математику, а не как «чёрный ящик».
- Работать с текстом: токенизация, BPE, подготовка данных, embedding и positional encoding.
- Реализовывать Self-Attention: сначала без весов, затем с обучаемыми матрицами Q, K, V.
- Собирать Multi-Head Attention в компактной, но полной версии.
- Строить Transformer Block: внимание, FFN, residual-связи и LayerNorm.
- Обучать модель: loss, backpropagation, оптимизатор и полный training loop.
- Генерировать текст с нуля и управлять генерацией: температура, top-k и top-p.
- Дообучать модель на парах «вопрос - ответ», чтобы она отвечала, а не продолжала текст.
- Открывать настоящие модели Hugging Face и узнавать в GPT-2 те же слои, что написали сами.
- Пользоваться generate() и разговаривать с чат-моделью через chat template.
- Квантовать модель в int8: вручную и через optimum-quanto.
- Публиковать свою модель на Hugging Face и скачивать её обратно.
- Собрать свою мини-версию GPT и дорабатывать её под свои задачи.
О курсе
Соберём GPT-трансформер с нуля на Python и PyTorch: токенизация, эмбеддинги, механизм внимания, обучение и генерация текста. Каждый слой пишем и считаем сами, а не берём готовым из библиотеки, поэтому видно, как модель устроена внутри. Потом научим её отвечать на вопросы и откроем настоящие модели на Hugging Face. 17 модулей, более 130 уроков, 400 шагов и 170 проверочных заданий. В конце у вас своя мини-GPT, опубликованная на Hugging Face.
Для кого этот курс
Курс для разработчиков и исследователей, которые хотят разобраться в устройстве генеративных трансформеров (GPT) через собственный код, а не на уровне «поставил библиотеку и работает».
Подойдёт, если вы:
- знаете базовый Python и хотите углубиться в ML-архитектуры;
- уже пробовали нейросети, но внутри всё оставалось «чёрным ящиком»;
- хотите понять, как работают token embedding, self-attention и обучение языковых моделей;
- ищете минимальный, но полный пример трансформера без лишних абстракций;
- хотите разобраться, что внутри у настоящих моделей на Hugging Face, и выложить туда свою.
Не нужно быть математиком: всё необходимое объясняется на простых примерах. На выходе не просто теория, а работающая модель, которую вы запускаете, дообучаете, меняете и публикуете.
Начальные требования
Математика на уровне школы или первого курса: векторы, матрицы, немного производных. Всё нужное объясняем по ходу.
Python на начальном уровне: переменные, условия, циклы, функции.
Обычный компьютер: видеокарта не нужна, всё запускается на процессоре. Для модуля про Hugging Face понадобится около 1 ГБ места на диске под модели.
Преподаватели курса
1 277
Как проходит обучение
- Текстовые уроки, которые удобно читать и перечитывать в своём темпе.
- Проверка знаний после каждого модуля.
Сертификат
Успешно завершив курс, вы получите сертификат от платформы Stepik. Уже 3 учеников получили сертификат.
Что вы получите
- ✅ Полный код трансформера своими руками, от токенизации до генерации текста.
- ✅ Понимание архитектуры: как на практике работают эмбеддинги, attention, MLP и обучение.
- ✅ Навык осознанной настройки: меняете число голов, слоёв и размер эмбеддингов и сразу видите эффект.
- ✅ Базовую генеративную модель, готовую к запуску: можно добавлять датасеты и улучшать качество.
- ✅ Уверенность: LLM перестаёт быть «магией» и становится прозрачной механикой.
- ✅ Свою модель на Hugging Face: опубликованную, с карточкой, её можно скачать по ссылке или показать работодателю)
Нагрузка
4-5