Otus / Николай Осипов, Игорь Матвеев - Проектирование систем машинного обучения

Постановка задачи, данные и модель

В этом модуле вы разберёте, как превратить бизнес-цель в ML-задачу с измеримыми критериями успеха и границами первой версии. Научитесь оценивать данные до старта разработки: и, объёмы, разметку, доступность на инференсе и риски утечек. А также спроектируете методологию решения: baseline, схему валидации и этапы от прототипа до production.

Тема 1: Введение: ML-система и design doc
Тема 2: Постановка задачи
Тема 3: Данные
Тема 4: Методология и модель // ДЗ

Архитектура, метрики и экономика

В этом модуле вы спроектируете архитектуру системы и посчитаете нагрузку: RPS, latency budget, ресурсы, SLA. Разберёте стратегии serving и безопасного выката модели, включая shadow, canary и A/B-тесты. А также свяжете метрики модели с бизнес-эффектом и посчитаете экономику решения: cost per 1k requests и ROI.

Тема 1: Архитектура и нагрузка
Тема 2: Эксплуатационная готовность и масштабирование // ДЗ
Тема 3: Метрики и валидация
Тема 4: Экономика системы // ДЗ

Эксплуатация, риски и завершение документа

В этом модуле вы спроектируете мониторинг, обнаружение дрифта, переобучение, алерты и fallback после запуска. Проверите дизайн на устойчивость: adversarial-сценарии, human-in-the-loop, карта рисков и premortem. А также сведёте trade-off’ы, спланируете развитие системы и доведёте design doc до состояния, готового к ревью.

Тема 1: Мониторинг и надёжность
Тема 2: Устойчивость и риски // ДЗ
Тема 3: Trade-off'ы и альтернативы
Тема 4: Развитие и готовность документа

Проектная работа

Заключительный месяц курса посвящен проектной работе. Проект – это самая интересная часть обучения. Вы будете разрабатывать его на основе полученных на курсе навыков и компетенций. В процессе работы над проектом можно получить консультацию преподавателей.

Тема 1: Выбор темы и организация проектной работы // Проектная работа
Тема 2: Консультации по проектам и домашним заданиям
Тема 3: Защита проектных работ
Тема 4: Подведение итогов курса