Курс на Stepik
Обложка курса «Математика LLM — Создаём ChatGPT своими руками с нуля» на Stepik
2 499 ₽

Математика LLM — Создаём ChatGPT своими руками с нуля ★ 5.000

Открыть на
STEPIK.ORG

Соберём GPT-трансформер с нуля на Python и PyTorch: токенизация, эмбеддинги, механизм внимания, обучение и генерация текста. Каждый слой пишем и считаем сами, а не берём готовым из библиотеки, поэтому видно, как модель устроена внутри. Потом научим её отвечать на вопросы и откроем настоящие модели на Hugging Face. 17 модулей, более 130 уроков, 400 шагов и 170 проверочных заданий. В конце у вас своя мини-GPT, опубликованная на Hugging Face.

Показатель Текущие показатели Рост
Значение 🏆 Рейтинг 3 дн 7 дн 30 дн
Количество учеников на курсе «Математика LLM — Создаём ChatGPT своими руками с нуля»Учеников на курсе 45
Сертификаты, выданные на курсе «Математика LLM — Создаём ChatGPT своими руками с нуля»Сертификатов выдано 3
Отзывы о курсе «Математика LLM — Создаём ChatGPT своими руками с нуля»Отзывов получено 2
Рейтинг курса «Математика LLM — Создаём ChatGPT своими руками с нуля»Рейтинг курса 5.000
Уроки в курсе «Математика LLM — Создаём ChatGPT своими руками с нуля»Количество уроков 135
Тесты в курсе «Математика LLM — Создаём ChatGPT своими руками с нуля»Количество квизов 170
Время прохождения курса «Математика LLM — Создаём ChatGPT своими руками с нуля»Время прохождения курса —
Стоимость курса «Математика LLM — Создаём ChatGPT своими руками с нуля»Стоимость курса 2 499 ₽ —
Обновления курса «Математика LLM — Создаём ChatGPT своими руками с нуля»Обновления курса — —
Дата публикации курса «Математика LLM — Создаём ChatGPT своими руками с нуля»Дата публикации курса — ———
Последнее обновление курса «Математика LLM — Создаём ChatGPT своими руками с нуля»Последнее обновление — ———
Сложность normal — ———

Содержание курса

Разделы в курсе «Математика LLM — Создаём ChatGPT своими руками с нуля» 18 разделов Уроки в курсе «Математика LLM — Создаём ChatGPT своими руками с нуля» 135 уроков Тесты в курсе «Математика LLM — Создаём ChatGPT своими руками с нуля» 170 тестов Время прохождения курса «Математика LLM — Создаём ChatGPT своими руками с нуля» 3 ч. Последнее обновление курса «Математика LLM — Создаём ChatGPT своими руками с нуля» обн. 30 сентября 2026

Подготовка

2 урока
1. Приветствие ↗
2. Инструменты ↗

Мини-математика “скаляры, векторы, матрицы, тензоры”

4 урока
1. Скаляр → Вектор → Матрица → Тензор ↗
2. softmax и temperature ↗
3. Производная (очень упрощённо) ↗
4. Проверка знаний, закрепление материала ↗

Мини-курс Python “нужное для LLM”

9 уроков
1. Переменные, типы, операции ↗
2. Условия и циклы (контроль потока + ошибки новичков) ↗
3. Функции ↗
4. Работа с файлами и текстом (самое важное для LLM) ↗
5. Проверка знаний, закрепление материала ↗
6. Модули и структура проекта ↗
7. NumPy минимум (таблицы/матрицы как для чисел) ↗
8. PyTorch самое нужное (тензоры + автоград) ↗
9. Проверка знаний, закрепление материала ↗

Введение

2 урока
1. Что такое LLM? ↗
2. Проверка знаний ↗

Этап 1: Токенизация - учимся работать с текстом

8 уроков
1. Начало ↗
2. Токенизация текста - получение идентификаторов ↗
3. Проблема - токенов нет в словаре [UNK] ↗
4. Детокенизация — пытаемся из идентификаторов получить предложение ↗
5. Byte Pair Encoding (BPE)  ↗
6. Код. Пишем простой токенизатор ↗
7. Код. Реализация Byte-pair encoding ↗
8. Закрепляем результат, проверка знаний. ↗

Этап 2: Подготовка текст для обучения

6 уроков
1. Скользящее окно - генерация пар «входные данные — цель» ↗
2. Код. Создаём наш первый учебный датасет ↗
3. Код. Реализуем класс Dataset для PyTorch ↗
4. Код. Собираем всё вместе: DataLoader ↗
5. Код. Рефакторим проект ↗
6. Закрепляем результат, проверка знаний. ↗

Этап 3 - Векторизация токенов и кодирование позиций

4 урока
1. Векторные представления (Embeddings) ↗
2. Позиционирование векторов - Positional Encoding ↗
3. Код. Слои - TokenEmbedding, PositionalEmbedding, EmbeddingLayer ↗
4. Закрепляем результат, проверка знаний. ↗

Механизм Внимания без обучаемых весов

7 уроков
1. Эпоха до Внимания: RNN и LSTM и решение проблемы ↗
2. Как работает Самовнимание (Self-Attention) ↗
3. Математика. Вычисляем показатели внимания (Attention Scores) ↗
4.  Математика. Нормализация через Softmax (Attention Weights) ↗
5. Математика. Вычисляем контекстные векторы ↗
6. Код. Простой пример расчета контекстного вектора ↗
7. Закрепляем результат, проверка знаний. ↗

Механизм Внимания - обучаемые весовые матрицы

10 уроков
1. Почему нужны обучаемые веса? ↗
2. Обучаемые матрицы W_Q, W_K, W_V ↗
3. Математика с обучаемыми весами ↗
4.  Математика. Шаг 1. Вычисляем Query, Key, Value ↗
5.  Математика. Шаг 2. Вычисляем Attention Scores ↗
6. Математика. Шаг 3. Causal Mask - модель не должна видеть будущее ↗
7. Математика. Шаг 4. Нормализация через Softmax ↗
8. Математика. Шаг 5. Вычисляем контекстные векторы ↗
9. Сравнение: Без весов vs С весами ↗
10. Код. Механизм самовнимания с обучаемыми весами ↗

Multi-Head Attention

12 уроков
1. Зачем нужно Multi-Head Attention? ↗
2. Архитектура Multi-Head Attention ↗
3. Математика. Шаг 1: Весовые матрицы для каждой головы ↗
4. Математика. Шаг 2: Вычисляем Q, K, V для Head 0 ↗
5. Математика. Шаг 3: Вычисляем Attention Scores для Head 0 ↗
6. Математика. Шаг 4: Softmax для Head 0 ↗
7. Математика. Шаг 5: Context Vectors для Head 0 ↗
8. Математика. Шаг 6: Вычисляем Head 1 ↗
9. Математика. Шаг 7: Объединяем головы (Concatenate) ↗
10. Математика. Шаг 8: Выходная проекция (W_O) ↗
11. Сравнение "голов" нашей модели с GPT-3 ↗
12. Код. Реализация Multi-Head Attention ↗

Feed-Forward Network (FFN) — добавим нейросеть

8 уроков
1. Зачем нужен Feed-Forward Network? ↗
2. Архитектура Feed-Forward Network ↗
3. Математика. Шаг 1: Весовые матрицы FFN ↗
4. Математика. Шаг 2: Первый линейный слой (Linear 1) ↗
5. Математика. Шаг 3: Функция активации ReLU ↗
6. Математика. Шаг 4: Второй линейный слой (Linear 2) ↗
7. Сравнение: Вход vs Выход FFN и с  GPT-3 (175B) ↗
8. Реализация Feed-Forward Network в Python ↗

Transformer Block + Output Layer (Собираем всё вместе)

20 уроков
1. Введение в Transformer — Революция в NLP ↗
2. Зачем вообще нужен Transformer block ↗
3. Из чего состоит Transformer block ↗
4. Как данные проходят через Transformer block ↗
5. Почему attention и FFN дополняют друг друга ↗
6. Расчеты Transformer block ↗
7. Расчеты - Output Layer (Выходной слой) ↗
8. Математика ↗
9. Математика. Шаг 1. Первая LayerNorm ↗
10. Математика. Шаг 2. Строим Q, K, V ↗
11. Математика. Шаг 3. Считаем attention scores ↗
12. Математика. Шаг 4. Применяем softmax ↗
13. Математика. Шаг 5. Получаем выход attention ↗
14. Математика. Шаг 6. Residual connection ↗
15. Математика. Шаг 7. Вторая LayerNorm ↗
16. Математика. Шаг 8. Feed-Forward Network ↗
17. Математика. Шаг 9. Второй Residual connection ↗
18. Математика. Шаг 10. Output layer ↗
19. Математика. Шаг 11. Превращаем logits в вероятности ↗
20. Код. Реализация Transformer Block ↗

Training Loop (Loss + Backprop + Optimizer)

9 уроков
1. Введение ↗
2. Общая картина обучения ↗
3. Почему training loop — центральный механизм обучения ↗
4. Loss function ↗
5. Backpropagation ↗
6. Optimizer: кто именно двигает веса? ↗
7. Полный процесс обучения ↗
8. Математика - основные формулы ↗
9. Код. Реализация training loop ↗

Генерация текста. Финал

4 урока
1. Как модель начинает “говорить” ↗
2. Реализация. Шаг 1. Сохраняем лучшую модель по loss ↗
3. Реализация. Шаг 2. Генерация текста ↗
4. Пробуем готовый датасет - Пьеса Шекспира ↗

Улучшаем генерацию: sampling (СКОРО)

0 уроков

Fine-tuning: учим модель отвечать (СКОРО)

0 уроков

Итоги, благодарность, выпуск сертификата

4 урока
1. Итоги ↗
2. Благодарность ↗
3. Что дальше? ↗
4. Выпуск сертификата ↗

Hugging Face: открываем настоящие модели (в работе))

9 уроков
1. Что такое Hugging Face ↗
2. Репозиторий модели ↗
3. Открываем GPT 2 ↗
4. Генерация ↗
5. Разговор с настоящей чат-моделью ↗
6. Квантизация - теория ↗
7. Квантизация - код ↗
8. Публикация модели на Hugging Face ↗
9. Проверка знаний ↗