Чему вы научитесь
- 🔤 Превращать промт в токены и векторы: subword-токенизация, эмбеддинги, мешок токенов
- ✖️ Различать GEMV W·x для одного контекста и GEMM W·X для батча и считать один логит вручную
- ⚡ Запускать вычисления на GPU одним device-agnostic кодом (NVIDIA CUDA / AMD ROCm / CPU) и сверять с эталоном NumPy
- 🧩 Собирать «голову» модели: Linear, ReLU, численно устойчивый softmax и argmax-декодирование
- 🔁 Реализовывать авторегрессию — генерацию ответа по одному токену со стопом по спец-токену
- 📉 Обучать веса с нуля: cross-entropy loss, градиентный спуск, backprop и autograd
- 🎓 Различать обучение (teacher forcing) и генерацию, распознавать переобучение и применять train/val split
- 💬 Уверенно отвечать на вопросы собеседований про инференс, GPU и обучение нейросетей
- 🔎 Сравнивать sparse и dense search на Recall@k, MRR@k и nDCG@k
- 🧬 Объединять выдачи через RRF и повторно сортировать кандидатов reranker-моделью
- 📚 Собирать ограниченный grounded-ответ с doc_id, provenance и явным отказом
О курсе
Для кого этот курс
Начальные требования
✅ Чтобы было комфортно:
- 🐍 Базовый Python (функции, списки, циклы) — уверенно читаете и пишете простой код.
- ➕ Школьная математика: умножение, суммы, базово про векторы — всё нужное объясняем по ходу.
- 💻 Компьютер с Python и NumPy; PyTorch — по желанию (GPU не обязателен, всё считается и на CPU).
- 🚫 Опыт в машинном обучении НЕ требуется — начинаем с самых основ.
Преподаватели курса
Как проходит обучение
📚 Формат обучения:
- 📖 Теория с диаграммами — каждый шаг разобран пошагово, со схемами и аналогиями.
- ✅ Интерактивные тесты — проверяете понимание сразу, с пояснениями к каждому ответу.
- 💻 Задачи с автопроверкой — пишете код прямо в браузере: токенизация, W·x, softmax, шаг обучения.
- 🔁 Один сквозной пример через весь курс — кошки и собаки от токенов и обучения до поиска, reranking и grounded-ответа.
- 🎤 10 финальных разборов для собеседований — закрепляете материал только после предметной практики.
Что вы получите
- 🧠 Понимание инференса и обучения нейросети изнутри — от промта до ответа и от данных до весов.
- 🛠️ Собранный своими руками проект: next-token модель, sparse/dense search, hybrid, reranker и grounded-ответ.
- 💬 Готовность уверенно говорить на собеседованиях про токены, GEMV/GEMM, обучение, retrieval, reranking и RAG.
- 🚀 Прочная база, чтобы двигаться дальше к Transformer, векторным базам и production RAG.