Курс на Stepik
Обложка курса «Оценка LLM-систем: от разметки до гейта в CI» на Stepik
3 500 ₽

Оценка LLM-систем: от разметки до гейта в CI ★ 0.000

Открыть на
STEPIK.ORG

Практикум по оценке LLM-систем: вы собираете свой стенд оценки и сами измеряете числа, от согласия своей разметки и мусора в golden-наборе до смещений LLM-судьи и гейта в CI, который роняет сборку на просадке метрики. Без ключа к API курс проходится на сохранённых данных.

Показатель Текущие показатели Рост
Значение 🏆 Рейтинг 3 дн 7 дн 30 дн
Количество учеников на курсе «Оценка LLM-систем: от разметки до гейта в CI»Учеников на курсе 0
Сертификаты, выданные на курсе «Оценка LLM-систем: от разметки до гейта в CI»Сертификатов выдано 1
Отзывы о курсе «Оценка LLM-систем: от разметки до гейта в CI»Отзывов получено 0
Рейтинг курса «Оценка LLM-систем: от разметки до гейта в CI»Рейтинг курса 0.000
Уроки в курсе «Оценка LLM-систем: от разметки до гейта в CI»Количество уроков 13
Тесты в курсе «Оценка LLM-систем: от разметки до гейта в CI»Количество квизов 49
Задачи с кодом в курсе «Оценка LLM-систем: от разметки до гейта в CI»Количество задач с кодом 10
Стоимость курса «Оценка LLM-систем: от разметки до гейта в CI»Стоимость курса 3 500 ₽ —
Обновления курса «Оценка LLM-систем: от разметки до гейта в CI»Обновления курса — —
Дата публикации курса «Оценка LLM-систем: от разметки до гейта в CI»Дата публикации курса — ———
Последнее обновление курса «Оценка LLM-систем: от разметки до гейта в CI»Последнее обновление — ———
Сложность normal — ———

Содержание курса

Разделы в курсе «Оценка LLM-систем: от разметки до гейта в CI» 6 разделов Уроки в курсе «Оценка LLM-систем: от разметки до гейта в CI» 13 уроков Тесты в курсе «Оценка LLM-систем: от разметки до гейта в CI» 49 тестов Задачи в курсе «Оценка LLM-систем: от разметки до гейта в CI» 10 задач Последнее обновление курса «Оценка LLM-систем: от разметки до гейта в CI» обн. 5 октября 2026

Знакомство с курсом

2 урока
1. Ознакомительный урок: судья, который совпал с человеком ↗
2. Как устроен курс и где просить помощь ↗

Данные и разметка

3 урока
1. Разметьте 20 пар руками ↗
2. Golden-набор: собрать и не отравить ↗
3. Рубрика и согласие разметчиков ↗

Стенд оценки (харнесс) и LLM-судья

3 урока
1. Стенд оценки (харнесс) с кэшем и манифестом прогона ↗
2. Три режима судьи и отказы парсера ↗
3. Смещения судьи: измеряем на своих данных ↗

Доверительные интервалы и гейт в CI

2 урока
1. Сколько можно утверждать по своим числам ↗
2. Гейт в CI и оценка на живом трафике ↗

Финальный проект

1 урок
1. Финальный проект ↗

Справочник, шаблоны и чек-листы

2 урока
1. Справочник практика ↗
2. Пак практика: шаблоны и чек-листы ↗