Чему вы научитесь
«Теория информации для машинного обучения: от NLP и LLM до CV и RL» — открытый курс о том, как теория информации становится рабочим языком современного ML.
В машинном обучении мы постоянно встречаем кросс-энтропию, KL-дивергенцию, перплексию, взаимную информацию, информационные ограничения и компромиссы между скоростью кодирования и искажением. Однако нередко эти понятия изучаются как отдельные формулы или используются как удобные метафоры.
Из-за этого даже знакомые утверждения могут оставаться неточными. Чья именно энтропия измеряется? По какому распределению берётся среднее? Полученный результат выражен в битах или натах? Перед нами точная теорема, оценка по конечной выборке, обучающая целевая функция или полезная инженерная аналогия?
Цель курса — превратить информационно-теоретическую интуицию в переносимый инструмент. Мы будем двигаться в обе стороны: от теории Шеннона к анализу и проектированию ML-систем и от знакомых практических конструкций — функций потерь, представлений, генеративных моделей, RL, LLM и CV — к их строгой математической постановке.
Это не замена полному университетскому курсу классической теории информации и не каталог эффектных аналогий про искусственный интеллект. Курс даёт теоретический минимум, необходимый для современного ML, выводит ключевые результаты, объясняет их операционный смысл и отдельно показывает, где заканчивается точная теорема и начинается моделирующая интерпретация.
Курс входит в развивающуюся серию самостоятельных курсов об ML и LLM и представляет информационно-теоретическую часть её математического направления. «Современные LLM» посвящён архитектурам, обучению и инференсу, а «Reinforcement Learning для LLM» — обучению по обратной связи и оптимизации поведения. Серия может пополняться новыми курсами; каждый из них можно проходить отдельно, а перекрёстные ссылки предлагают дополнительное углубление, а не задают обязательные зависимости.
Изначально я собирал этот материал как личный обзор и памятку по понятиям, которые постоянно возникали в моих задачах по ML, NLP и LLM. Постепенно обзор вырос в полноценный курс: от энтропии, KL и взаимной информации до кодирования, Information Bottleneck, PAC-Bayes, рассуждения в LLM, компьютерного зрения и информационной геометрии.
Курс существует в русской и английской версиях. Сам курс на Stepik и все входящие в него материалы полностью бесплатны: тексты модулей, автопроверяемые вопросы, упражнения, подробные решения, воспроизводимые вычислительные эксперименты и ноутбуки на Python, списки первоисточников и итоговая памятка по формулам.
Буду рад, если курс поможет вам увидеть за привычными ML-конструкциями общую математическую структуру — и точнее понимать как возможности, так и ограничения используемых методов.
О курсе
Для кого этот курс
Начальные требования
Необходим базовый уровень теории вероятностей: случайные величины, условная вероятность, формула Байеса, математическое ожидание и дисперсия.
Понадобятся основы математического анализа: функции, производные, градиенты и простые интегралы.
Желательны основы линейной алгебры: векторы, матрицы, скалярные произведения и квадратичные формы.
Предполагается знакомство с базовыми понятиями машинного обучения: обучающая и тестовая выборки, функция потерь, вероятностная классификация и градиентная оптимизация.
Python, NumPy и базовые навыки работы с ноутбуками полезны для вычислительных упражнений, но не обязательны для прохождения теоретического маршрута.
Не требуются — Теория меры, функциональный анализ, продвинутая теория кодирования и другие специальные математические курсы: необходимые конструкции вводятся по ходу курса.
Преподаватели курса
1
Как проходит обучение
Курс открыт, бесплатен и проходится в собственном темпе. Основной формат — текстовые уроки с формулами, иллюстрациями, короткими тестами и вычислительными примерами.
Курс состоит из 13 основных модулей, двух факультативных углублений и итоговой памятки:
• Модули 1–13 образуют основной маршрут — от энтропии, KL и взаимной информации до кодирования, Information Bottleneck, обобщения и рассуждения в LLM.
• Модуль 14 посвящён компьютерному зрению через теорию информации.
• Модуль 15 посвящён информационной геометрии и естественному градиенту.
• Модуль 16 — компактная памятка по ключевым идеям и формулам курса.
Модули 14 и 15 факультативны: их можно пропустить при первом прохождении или выбрать в зависимости от профессиональных интересов.
Большинство модулей устроено по одному маршруту:
1. Практический или ML-вопрос: какую проблему мы хотим понять.
2. Интуитивная модель и постановка задачи.
3. Формальные определения, ключевые свойства и вывод основных формул.
4. Классические примеры и приложения к ML, NLP, LLM, CV или RL.
5. Автопроверяемые вопросы после основных теоретических шагов.
6. Теоретические и вычислительные упражнения.
7. Подробные решения и, где это уместно, воспроизводимый Python-код.
В более математических разделах отдельно обозначен материал для первого и второго прохождения. Полные доказательства и специальные темы можно отложить, не теряя основного ML-маршрута.
Упражнения не оцениваются и не обязательны для перехода дальше, но именно они помогают превратить понимание формул в рабочий навык. Решения опубликованы отдельно: сначала полезно попробовать самостоятельно, а затем сравнить ход рассуждений.
Рекомендуемый темп — около 4–5 часов в неделю, но жёсткого расписания нет.