Курс на Stepik
Обложка курса «LLM своими руками: Transformer с нуля. Достаточно знать Python» на Stepik
3 990₽ -30%
--:--:--
2 793 ₽

LLM своими руками: Transformer с нуля. Достаточно знать Python ★ 0.000

Открыть на
STEPIK.ORG

Напишите и обучите свой Transformer на Python и PyTorch. Начните с первой генерации текста и разберитесь, как работает каждая часть модели.

Показатель Текущие показатели Рост
Значение 🏆 Рейтинг 3 дн 7 дн 30 дн
Количество учеников на курсе «LLM своими руками: Transformer с нуля. Достаточно знать Python»Учеников на курсе 0
Сертификаты, выданные на курсе «LLM своими руками: Transformer с нуля. Достаточно знать Python»Сертификатов выдано 0
Отзывы о курсе «LLM своими руками: Transformer с нуля. Достаточно знать Python»Отзывов получено 0
Рейтинг курса «LLM своими руками: Transformer с нуля. Достаточно знать Python»Рейтинг курса 0.000
Уроки в курсе «LLM своими руками: Transformer с нуля. Достаточно знать Python»Количество уроков 109
Тесты в курсе «LLM своими руками: Transformer с нуля. Достаточно знать Python»Количество квизов 672
Задачи с кодом в курсе «LLM своими руками: Transformer с нуля. Достаточно знать Python»Количество задач с кодом 64
Стоимость курса «LLM своими руками: Transformer с нуля. Достаточно знать Python»Стоимость курса 3 990 ₽ —
Обновления курса «LLM своими руками: Transformer с нуля. Достаточно знать Python»Обновления курса — —
Дата публикации курса «LLM своими руками: Transformer с нуля. Достаточно знать Python»Дата публикации курса — ———
Последнее обновление курса «LLM своими руками: Transformer с нуля. Достаточно знать Python»Последнее обновление — ———
Сложность normal — ———

Чему вы научитесь

В этом курсе вы напишете на Python собственный Transformer — языковую модель, которая учится на тексте и предсказывает его продолжение. Вы соберёте её части, обучите модель и запустите генерацию.

Первая работающая модель появится уже в начале курса. На обычном Python вы сохраните наблюдения о соседних символах и получите первое продолжение текста. Дальше будем запускать модель, замечать её ограничения и добавлять новые возможности: обучение, работу с контекстом и механизм внимания.

К концу курса вы сможете:

  • подготовить текст для обучения языковой модели;
  • написать и обучить модель средствами PyTorch;
  • объяснить, как работают эмбеддинги, Q/K/V и внимание;
  • собрать блоки Transformer и получить продолжение своего текста.

Все обязательные задачи выполняются прямо в Stepik. В уроках есть короткие объяснения, схемы, вопросы и задания на Python с автоматической проверкой. Каждая новая часть добавляется к уже работающей модели.

Нужно знать Python. PyTorch, нейросети и необходимую математику разберём по ходу работы на понятных примерах.

О курсе

Напишите и обучите свой Transformer на Python и PyTorch. Начните с первой генерации текста и разберитесь, как работает каждая часть модели.

Для кого этот курс

Для тех, кто уверенно пишет небольшие программы на Python и хочет понять устройство языковых моделей. Курс подойдёт школьникам 9–10 классов, студентам и взрослым разработчикам. Предварительное знакомство с нейросетями не требуется.

Начальные требования

Нужно уверенно писать небольшие программы на Python: работать со строками, списками и словарями, писать функции, использовать циклы и условия, понимать простые классы. Важные конструкции Python будем напоминать перед применением.

PyTorch, NumPy, линейную алгебру и машинное обучение знать заранее не нужно. Все обязательные задания доступны в Stepik: устанавливать Python и библиотеки на свой компьютер для прохождения курса не требуется.

Преподаватели курса

Аватар Артур Заяц
Артур Заяц
Практикующий разработчик с многолетним опытом. Объясняю сложные технические темы просто и понятно.
★ 5.0
4 курса 148
→

Как проходит обучение

Двигайтесь по урокам в своём темпе: каждый опирается на уже собранную часть модели. Перед запуском попробуйте предсказать результат, затем сравните свой прогноз с результатом запуска. Знакомые разминки по Python можно пропускать.

Формат курса

Короткие объяснения и схемы чередуются с вопросами, чтением кода и задачами на Python. Код пишется прямо в Stepik и проверяется автоматически. От первой генерации текста постепенно перейдём к обучению и запуску своего Transformer.

Расскажите о курсе друзьям