Курс на Stepik
Обложка курса «Разработка LLM с нуля» на Stepik
4 900 ₽

Stepik Awards 2025 — Номинант в номинации «Лучший платный курс»: курс «Разработка LLM с нуля» Разработка LLM с нуля ★ 4.900

Открыть на
STEPIK.ORG

Этот практический курс погрузит студентов в создание современных языковых моделей (LLM) на примере GPT-архитектуры. Участники с нуля реализуют все основные компоненты Трансформера: от токенизации (BPE) до механизмов Внимания и генерации текста. Для разработки будем использовать только Python и низкоуровневый PyTorch, не полагаясь на какие-либо сторонние библиотеки.

Показатель Текущие показатели Рост
Значение 🏆 Рейтинг 3 дн 7 дн 30 дн
Количество учеников на курсе «Разработка LLM с нуля»Учеников на курсе 424
Сертификаты, выданные на курсе «Разработка LLM с нуля»Сертификатов выдано 81
Отзывы о курсе «Разработка LLM с нуля»Отзывов получено 10
Рейтинг курса «Разработка LLM с нуля»Рейтинг курса 4.900
Уроки в курсе «Разработка LLM с нуля»Количество уроков 18
Задачи с кодом в курсе «Разработка LLM с нуля»Количество задач с кодом 44
Время прохождения курса «Разработка LLM с нуля»Время прохождения курса —
Стоимость курса «Разработка LLM с нуля»Стоимость курса 4 900 ₽ —
Обновления курса «Разработка LLM с нуля»Обновления курса — —
Дата публикации курса «Разработка LLM с нуля»Дата публикации курса — ———
Последнее обновление курса «Разработка LLM с нуля»Последнее обновление — ———
Сложность normal — ———

Чему вы научитесь

  • Научитесь читать схемы архитектур основанных на Трансформерах.
  • Изучите принципы проектирования современных LLM.
  • Понимать алгоритм токенизации текста.
  • Реализовывать ключевые компоненты GPT.
  • Управлять креативностью модели.
  • Собирать и подготавливать данные для обучения.
  • Настраивать Pre-train цикл обучения LLM.

О курсе

Этот практический курс погрузит студентов в создание современных языковых моделей (LLM) на примере GPT-архитектуры. Участники с нуля реализуют все основные компоненты Трансформера: от токенизации (BPE) до механизмов Внимания и генерации текста. Для разработки будем использовать только Python и низкоуровневый PyTorch, не полагаясь на какие-либо сторонние библиотеки.

Для кого этот курс

Курс предназначен для разработчиков, инженеров машинного обучения и исследователей, желающих глубоко разобраться в архитектуре современных языковых моделей (LLM).

Начальные требования

  • Базовые знания Python, минимальный ООП (классы, функции).
  • Понимание основ машинного обучения (train/test, таргет, фичи, градиент, функции потерь, метрики и т.д.).
  • Базовые знания по PyTorch: линейные слои, активации, нормализация, дропаут, обратное распространение ошибки.
  • Желателен опыт реализации простой полносвязнной сети для задачи много-классовой классификации.

Преподаватели курса

Аватар Вячеслав Колосков
Вячеслав Колосков
Machine Learning Engineer (в телекоме)
★ 5.0
2 курса 7 351
→

Как проходит обучение

Курс состоит из текстовых лекций и практических заданий на написание кода. В каждом задании вам необходимо будет написать класс, который реализует один из компонентов LLM. Мы автоматически создадим экземпляр этого класса и выполним все необходимые проверки. Каждое задания сопровождаются необходимой теорией.

Сертификат курса Разработка LLM с нуля

Сертификат

Успешно завершив курс, вы получите сертификат от платформы Stepik. Уже 81 учеников получили сертификат.

Расскажите о курсе друзьям