Чему вы научитесь
«Современные LLM» — инженерный курс о полном жизненном цикле языковой модели: от данных, токенизации и архитектуры до post-training, эффективного инференса, evaluation и прикладных систем.
Курс нужен не для запоминания очередного списка моделей. Его цель — дать систематику, с которой можно читать model card и технический отчёт, проверять арифметику архитектуры, видеть цену проектного решения и отличать устойчивый механизм от датированного рыночного среза.
Маршрут начинается с современного ландшафта LLM, токенизации и эмбеддингов. Модуль 3 последовательно разбирает базовый Transformer; затем изучаются позиционные кодировки, attention, нормализация и активации, MoE и SSM/Mamba. Далее идут данные и pretraining, KV-кэши, эффективный инференс и квантизация, диффузионные LLM, SFT, обучение по предпочтениям, reasoning и test-time compute, мультимодальность, RAG, агенты и оценка качества. В модуле 20 математика авторегрессионной LLM собирается в единую конструкцию — от токенов до обучения и генерации; отдельно показано, что меняется для SSM и диффузионных моделей.
Формулы связываются с проверяемым кодом. Ноутбуки показывают механизмы, численную устойчивость, батчинг, контрольные примеры и воспроизводимость. Это инженерно аккуратный учебный код, а не обещание production-ready реализации: специализированные GPU-ядра, распределённое обучение и промышленный serving требуют отдельной оптимизации под модель, runtime и железо.
Версия на Stepik включает структурированный маршрут, автопроверяемые вопросы, аналитические и вычислительные упражнения, подробные решения, проверенные RU-ноутбуки, отдельные демонстрации к проектным упражнениям и итоговый Capstone. В Capstone вы собираете компактную MiniLLM от данных и byte-level BPE до post-training, инференса и контролируемых абляций. Внешней оценки проекта нет: итог фиксируется и оценивается самостоятельно.
Русская и английская версии курса являются самостоятельными и синхронизированными изданиями.
«Современные LLM» входит в развивающуюся серию самостоятельных курсов об ML и LLM. Сейчас вместе с ним в серию входят «Теория информации для машинного обучения от NLP и LLM до CV и RL» и «Reinforcement Learning для LLM». Серия может пополняться новыми курсами; каждый из них можно проходить отдельно, а перекрёстные ссылки предлагают дополнительное углубление, а не задают обязательные зависимости.
О курсе
Для кого этот курс
Начальные требования
Предполагается знакомство с основами машинного обучения: train/validation/test, функция потерь, градиентный спуск, переобучение и базовая вероятностная интерпретация модели.
Нужны основы Python и умение читать PyTorch-код. Достаточно уверенно работать с тензорами, формами, broadcasting и простыми training loops.
Понадобятся основы линейной алгебры и математического анализа: векторы, матрицы, скалярные произведения, производные, градиенты и softmax. Теория вероятностей нужна на уровне распределений, условной вероятности и математического ожидания.
Знакомство с Transformer полезно, но не обязательно: модуль 3 подробно разбирает базовую encoder–decoder архитектуру, attention и формулы. Он следует за вводным модулем и модулем 2 о токенизации и эмбеддингах.
Для практики понадобится Jupyter или Google Colab. Основные демонстрации и smoke-маршруты рассчитаны на доступное окружение; GPU полезен для расширенных запусков, но не требуется для чтения теории и большинства контрольных экспериментов.
Опыт с CUDA, распределённым обучением, production-serving или reinforcement learning не требуется: границы этих специализированных дисциплин обозначаются отдельно.
Преподаватели курса
Как проходит обучение
Курс проходится в собственном темпе и прежде всего состоит из текстовых уроков с формулами, иллюстрациями, таблицами и ссылками на первоисточники.
Основной маршрут включает 17 модулей. Дополнительная ветвь 7b посвящена диффузионным LLM, модуль 18 служит справочником по базовому Transformer, а последний модуль содержит итоговый Capstone.
Большинство модулей построено по повторяющемуся маршруту:
• инженерный вопрос и точная постановка;
• механизм, формулы и числовые проверки;
• современные реализации и границы применимости;
• автопроверяемые тесты после ключевых разделов;
• аналитические, вычислительные и проектные упражнения;
• подробные решения, notebook и ключевые работы для дальнейшего чтения.
Тесты оцениваются автоматически. Обычные упражнения не являются внешней аттестацией: сначала полезно решить задачу самостоятельно, затем открыть подробное решение. Проектные упражнения остаются отдельным практическим маршрутом; для части из них доступны демонстрационные ноутбуки.
Ноутбуки существуют отдельно для русского и английского курсов и запускаются в Colab или локально. Они ориентированы на проверяемые механизмы и небольшие эксперименты; расширенные профили могут потребовать GPU.
Capstone объединяет pretraining, post-training, inference и ablations в проекте MiniLLM. Проект не проверяется извне: вы сохраняете конфиг, seed, метрики, итоговые веса или checkpoint, составляете отчёт и используете таблицу самооценки.
Рекомендуемый темп — 5–7 часов в неделю, но жёсткого расписания нет. Справочный модуль и дополнительные углубления можно читать выборочно.
Что вы получите
- 20 основных модулей и итоговый проект MiniLLM: 414 уроков, включающих 945 текстовых и тестовых шагов.
- 415 автопроверяемых вопросов после соответствующих объяснений и практики; пояснение открывается после правильного ответа.
- 116 аналитических, вычислительных и проектных упражнений с подробными раскрываемыми решениями, а также вопросы для самопроверки.
- 42 ноутбука: 20 основных, 18 демонстраций к проектным упражнениям и 4 ноутбука итогового проекта. Доступны отдельные файлы и полный комплект курса.
- 180 иллюстраций: схемы механизмов, графики и численные примеры.
- Полный учебный код MiniLLM: data pipeline, tokenizer, dense/MoE decoder, обучение и resume, post-training, генерация, кэши, speculative decoding, fake quantization, probes и отчётность.
- Масштабируемые профили MiniLLM: dense S, M и L и их MoE-близнецы — от S на 6.3M параметров до dense L на 1.02B и L-MoE примерно с 1.06B активных параметров на токен (10.02B total во всех экспертах); крупные профили служат проверяемыми compute/memory passports и не требуют полного обучения.
- Код MiniLLM поставляется с полным набором проверок корректности архитектуры, обучения, данных, post-training и inference.
- Списки ключевых статей и первоисточников, инженерные таблицы и практика измерения памяти, задержки, параметров, loss и воспроизводимости вместо оценки по одной итоговой метрике.