Наведите порядок в репозиториях, внедрите лучшие практики и повысьте свою ценность на рынке
После курса Деплой DL-сервисов
- Можете сами обернуть сеть в сервис и задеплоить веб-приложение
- Знаете лучшие практики от опытных инженеров и можете им научить коллег
- Пишите понятный код в скриптах и версионируете проекты в git
- Храните версии датасетов и экспериментов, видите результаты в удобном UI
- Автоматизируете рутину в CI, решаете больше любимых и сложных задач
Программа
Лекция каждую неделю. После каждой темы — домашнее задание с фидбеком от лектора.
Большой проект в конце программы. Раз в 4−5 недель — Q&A-сессия для разбора вопросов. В середине курса есть перерыв на каникулы.
01. Настройка репозитория с моделингом, 1/3
Сделаем репозиторий обучения модели «по фэншую»: сделаем Makefile и подключим линтеры и пре-коммит, разберёмся, как конфигурировать эксперименты. Тренировать модель будем при помощи Pytorch Lightning, а логировать эксперименты — в ClearMLЗависимости в python • Линтеры/форматтеры, pre-commit хуки • PyTorch Lightning. Основные компоненты • ClearML • Конфигурация. Omegaconf, Pydantic
02. Настройка репозитория с моделингом, 2/3
Продолжим работу с репозиторием из первой лекции. Научимся версионировать данные при помощи clearml-data (и, как альтернатива, dvc). Покажем, как можно дебажить на разных уровнях: в IDE, в Ligtning’е, в ClearML. Напишем тесты на код обучения и сделаем, чтобы они прогонялись на каждом коммите при помощи Gitlab CIРабота с данными: dvc, clearml-data • Дебаггинг: в IDE, в PyTorch Ligtning, в ClearML • Тестирование кода обучения, pytest • Автоматизируем проверки в CI
03. Настройка репозитория с моделингом, 3/3
В первых лекциях мы пользовались Lightning, а в этой сделаем бо́льший фокус на NLP и расскажем, как обучать модели с transformers. Также разберёмся, как учить, логгировать, дебажить и тестироватьtransformers: основные компоненты • как «подружить» со всем, что мы изучили до этого
04. Сериализация моделей
Разберёмся, как устроены чекпоинты в PyTorch. Поймём, чем нас не устраивают чекпоинты «из коробки» и покажем типичные ошибки при работе с ними. Рассмотрим torch jit: script/trace и поймём, в каком случае какой подход нужно использовать. Перейдём к ONNX, научимся в него конвертировать, анализировать и упрощать граф. Затем расскажем про onnx-runtimeКак устроены чекпоинты в torch и какие с этим есть проблемы • Torch jit: script/trace • ONNX. Конвертация, анализ и упрощение графа • onnx-runtime
05. Сервис
Расскажем, что такое веб-сервисы, обсудим REST. Научимся писать свои веб-сервисы на FastAPI и конфигурировать их при помощи OmegaConf. Расскажем про внедрение зависимостей и научим применять DI-контейнерыВеб-сервисы, http, REST • FastAPI • DI-контейнеры
06. Тесты и линтеры
Научимся проверять наш код: писать юнит и интеграционные тесты при помощи pytest, а также пропускать его через линтеры. Расскажем про хорошие практики и типичные ошибки при написании тестовЛинтеры, pre-commit • Pytest • Виды тестов • Фикстуры • Хорошие практики и типичные ошибки в тестах
07. Docker, 1/2
Поговорим про важность изоляции, скорости развёртывания и масштабирования. Расскажем про отличие виртуализации и контейнеризации. Рассмотрим основные компоненты и команды dockerВиртуализация, контейнеризация • Docker: основные компоненты • Docker{file, image, container, hub} • Основные команды • Docker volumes
08. Docker, 2/2
Продолжим изучать docker. Научимся ускорять сборку образа и уменьшать его вес. Поговорим про multistage-сборки. Научимся работать с docker compose и использовать docker для локальной разработки и тестирования.Ускорение сборки образов и уменьшение веса образа • Multistage • Docker Compose • Docker для разработки и тестирования локально
09. Serving
Научимся сервить модели при помощи Nvidia Triton. Научимся им пользоваться и разберём основные компоненты. Интегрируем модель из Triton в наше приложение.Конкурентная обработка, latency vs throughput • Как реализовать батчинг • Nvidia Triton: компоненты, API: HTTP/gRPC, как запустить и засервить модель, ансамблирование моделей, тюнинг производительности, метрики, поддерживаемые форматы
10. CI/CD
Научимся использовать Gitlab CI в своих проектах. Будем тестировать и прогонять через линтеры каждый коммит. Научимся деплоить наше приложение из Gitlab при помощи Ansible.CI/CD: что это и зачем нужно • Основные концепты Gitlab CI: pipeline, stage, job, etc. • Сборка образа в CI •anchors, include, triggers, artifacts • Ansible
11. Мониторинг
Покажем, как мониторить задеплоенное приложение. Научимся узнавать об ошибках при помощи Sentry, а также собирать и отслеживать метрики нам помогут Prometheus и GrafanaSentry • Prometheus • Grafana
Курс «Деплой DL-сервисов» длится 4 месяца и включает 16 недель обучения.
Программа состоит из 11 лекций, 11 домашних заданий с фидбэком и одного проекта.
Курс подходит для DL-инженеров всех уровней, включая тех, кто хочет перейти в DL.
Необходимые навыки и знания
Знание базовой теории нейросетей, CV- и NLP-фреймворков.
Опыт в DL на уровне написания train loop на PyTorch.
Базовое знание Python.
Кто будет преподавать
Опытные инженеры будут вести Zoom-лекции и семинары, отвечать на ваши вопросы и ревьюить код
Денис Солдатов. Backend-разработчик. Расскажет как создавать, деплоить и поддерживать сервисы
Дмитрий Раков. Руководит командой ML, которая занимается разработкой беспилотных поездов в AO НИИАС
Егор Осинкин. Руководит CV командой в EPAM. Выстраивает инженерные практики в ML-командах
Константин Носорев. Senior backend developer. Научит работать с Docker.
Катерина Антонова. Senior NLP инженер, ML lead. Работает с поисковыми системами, advanced RAG и т.д.
