Курс на Stepik
Обложка курса « Математика LLM — Создаем ChatGPT своими руками с нуля» на Stepik
2 499 ₽

Математика LLM — Создаем ChatGPT своими руками с нуля 5.000

Открыть на
STEPIK.ORG

Соберём GPT-трансформер с нуля на чистом Python: токенизация, эмбеддинги, механизм внимания, обучение и генерация текста. Каждый слой пишем и считаем сами, а не берём готовым из библиотеки, поэтому видно, как модель устроена внутри. 16 модулей, 108 уроков, 330 шагов и более 150 проверочных заданий. В конце у вас своя мини-GPT, которую можно запускать, дообучать и менять под свои задачи.

Показатель Текущие показатели Рост
Значение 🏆 Рейтинг 3 дн 7 дн 30 дн
Количество учеников на курсе « Математика LLM — Создаем ChatGPT своими руками с нуля»Учеников на курсе 37
Сертификаты, выданные на курсе « Математика LLM — Создаем ChatGPT своими руками с нуля»Сертификатов выдано 3
Отзывы о курсе « Математика LLM — Создаем ChatGPT своими руками с нуля»Отзывов получено 2
Рейтинг курса « Математика LLM — Создаем ChatGPT своими руками с нуля»Рейтинг курса 5.000
Уроки в курсе « Математика LLM — Создаем ChatGPT своими руками с нуля»Количество уроков 126
Тесты в курсе « Математика LLM — Создаем ChatGPT своими руками с нуля»Количество квизов 170
Время прохождения курса « Математика LLM — Создаем ChatGPT своими руками с нуля»Время прохождения курса
Стоимость курса « Математика LLM — Создаем ChatGPT своими руками с нуля»Стоимость курса 2 499 ₽
Обновления курса « Математика LLM — Создаем ChatGPT своими руками с нуля»Обновления курса
Дата публикации курса « Математика LLM — Создаем ChatGPT своими руками с нуля»Дата публикации курса
Последнее обновление курса « Математика LLM — Создаем ChatGPT своими руками с нуля»Последнее обновление
Сложность normal

Содержание курса

Разделы в курсе « Математика LLM — Создаем ChatGPT своими руками с нуля» 17 разделов Уроки в курсе « Математика LLM — Создаем ChatGPT своими руками с нуля» 126 уроков Тесты в курсе « Математика LLM — Создаем ChatGPT своими руками с нуля» 170 тестов Время прохождения курса « Математика LLM — Создаем ChatGPT своими руками с нуля» 2 ч. Последнее обновление курса « Математика LLM — Создаем ChatGPT своими руками с нуля» обн. 13 августа 2026

Подготовка

2 урока
1. Приветствие
2. Инструменты

Мини-математика “скаляры, векторы, матрицы, тензоры”

4 урока
1. Скаляр → Вектор → Матрица → Тензор
2. softmax и temperature
3. Производная (очень упрощённо)
4. Проверка знаний, закрепление материала

Мини-курс Python “нужное для LLM”

9 уроков
1. Переменные, типы, операции
2. Условия и циклы (контроль потока + ошибки новичков)
3. Функции
4. Работа с файлами и текстом (самое важное для LLM)
5. Проверка знаний, закрепление материала
6. Модули и структура проекта
7. NumPy минимум (таблицы/матрицы как для чисел)
8. PyTorch самое нужное (тензоры + автоград)
9. Проверка знаний, закрепление материала

Введение

2 урока
1. Что такое LLM?
2. Проверка знаний

Этап 1: Токенизация - учимся работать с текстом

8 уроков
1. Начало
2. Токенизация текста - получение идентификаторов
3. Проблема - токенов нет в словаре [UNK]
4. Детокенизация — пытаемся из идентификаторов получить предложение
5. Byte Pair Encoding (BPE) 
6. Код. Пишем простой токенизатор
7. Код. Реализация Byte-pair encoding
8. Закрепляем результат, проверка знаний.

Этап 2: Подготовка текст для обучения

6 уроков
1. Скользящее окно - генерация пар «входные данные — цель»
2. Код. Создаём наш первый учебный датасет
3. Код. Реализуем класс Dataset для PyTorch
4. Код. Собираем всё вместе: DataLoader
5. Код. Рефакторим проект
6. Закрепляем результат, проверка знаний.

Этап 3 - Векторизация токенов и кодирование позиций

4 урока
1. Векторные представления (Embeddings)
2. Позиционирование векторов - Positional Encoding
3. Код. Слои - TokenEmbedding, PositionalEmbedding, EmbeddingLayer
4. Закрепляем результат, проверка знаний.

Механизм Внимания без обучаемых весов

7 уроков
1. Эпоха до Внимания: RNN и LSTM и решение проблемы
2. Как работает Самовнимание (Self-Attention)
3. Математика. Вычисляем показатели внимания (Attention Scores)
4.  Математика. Нормализация через Softmax (Attention Weights)
5. Математика. Вычисляем контекстные векторы
6. Код. Простой пример расчета контекстного вектора
7. Закрепляем результат, проверка знаний.

Механизм Внимания - обучаемые весовые матрицы

10 уроков
1. Почему нужны обучаемые веса?
2. Обучаемые матрицы W_Q, W_K, W_V
3. Математика с обучаемыми весами
4.  Математика. Шаг 1. Вычисляем Query, Key, Value
5.  Математика. Шаг 2. Вычисляем Attention Scores
6. Математика. Шаг 3. Causal Mask - модель не должна видеть будущее
7. Математика. Шаг 4. Нормализация через Softmax
8. Математика. Шаг 5. Вычисляем контекстные векторы
9. Сравнение: Без весов vs С весами
10. Код. Механизм самовнимания с обучаемыми весами

Multi-Head Attention

12 уроков
1. Зачем нужно Multi-Head Attention?
2. Архитектура Multi-Head Attention
3. Математика. Шаг 1: Весовые матрицы для каждой головы
4. Математика. Шаг 2: Вычисляем Q, K, V для Head 0
5. Математика. Шаг 3: Вычисляем Attention Scores для Head 0
6. Математика. Шаг 4: Softmax для Head 0
7. Математика. Шаг 5: Context Vectors для Head 0
8. Математика. Шаг 6: Вычисляем Head 1
9. Математика. Шаг 7: Объединяем головы (Concatenate)
10. Математика. Шаг 8: Выходная проекция (W_O)
11. Сравнение "голов" нашей модели с GPT-3
12. Код. Реализация Multi-Head Attention

Feed-Forward Network (FFN) — добавим нейросеть

8 уроков
1. Зачем нужен Feed-Forward Network?
2. Архитектура Feed-Forward Network
3. Математика. Шаг 1: Весовые матрицы FFN
4. Математика. Шаг 2: Первый линейный слой (Linear 1)
5. Математика. Шаг 3: Функция активации ReLU
6. Математика. Шаг 4: Второй линейный слой (Linear 2)
7. Сравнение: Вход vs Выход FFN и с  GPT-3 (175B)
8. Реализация Feed-Forward Network в Python

Transformer Block + Output Layer (Собираем всё вместе)

20 уроков
1. Введение в Transformer — Революция в NLP
2. Зачем вообще нужен Transformer block
3. Из чего состоит Transformer block
4. Как данные проходят через Transformer block
5. Почему attention и FFN дополняют друг друга
6. Расчеты Transformer block
7. Расчеты - Output Layer (Выходной слой)
8. Математика
9. Математика. Шаг 1. Первая LayerNorm
10. Математика. Шаг 2. Строим Q, K, V
11. Математика. Шаг 3. Считаем attention scores
12. Математика. Шаг 4. Применяем softmax
13. Математика. Шаг 5. Получаем выход attention
14. Математика. Шаг 6. Residual connection
15. Математика. Шаг 7. Вторая LayerNorm
16. Математика. Шаг 8. Feed-Forward Network
17. Математика. Шаг 9. Второй Residual connection
18. Математика. Шаг 10. Output layer
19. Математика. Шаг 11. Превращаем logits в вероятности
20. Код. Реализация Transformer Block

Training Loop (Loss + Backprop + Optimizer)

9 уроков
1. Введение
2. Общая картина обучения
3. Почему training loop — центральный механизм обучения
4. Loss function
5. Backpropagation
6. Optimizer: кто именно двигает веса?
7. Полный процесс обучения
8. Математика - основные формулы
9. Код. Реализация training loop

Генерация текста. Финал

4 урока
1. Как модель начинает “говорить”
2. Реализация. Шаг 1. Сохраняем лучшую модель по loss
3. Реализация. Шаг 2. Генерация текста
4. Пробуем готовый датасет - Пьеса Шекспира

Улучшаем генерацию: sampling (СКОРО)

0 уроков

Fine-tuning: учим модель отвечать (СКОРО)

0 уроков

Итоги, благодарность, выпуск сертификата

4 урока
1. Итоги
2. Благодарность
3. Что дальше?
4. Выпуск сертификата