Профессия в машинном обучении

CV-инженер — кто это и чем занимается

Изображение и видео: что на них и где именно

CV-инженер (инженер компьютерного зрения) — специалист, который учит модели понимать изображения и видео: что на кадре и где именно. Отвечает за качество на реальной съёмке и за то, чтобы модель уложилась в железо на месте установки.

Также встречается как CV-инженер, инженер компьютерного зрения, специалист по компьютерному зрению, Computer Vision Engineer · 8 ключевых компетенций · оси знаний: DL, CV

Чем занимается CV-инженер

Решает задачи зрения: классификация, детекция, сегментация, трекинг. Много работает с данными съёмки и с ограничениями железа на месте установки.

Готовит данные съёмки: разметка, аугментации, разбор сложных кадров.
Обучает модели классификации, детекции и сегментации и разбирает ошибки по сценам.
Подбирает архитектуру — свёрточную или трансформерную — под точность и бюджет вычислений.
Считает метрики зрения: IoU, точность и полнота по классам и по размерам объектов.
Дообучает предобученные модели вместо обучения с нуля.
Доводит модель до устройства или сервиса: квантизация, ускорение, задержка на кадр.

Что нужно знать

Ядро профессии: без этих компетенций роль не складывается. У каждой — темы атласа, с которых её разбирают.

Все разделы →

Работа с изображениямиядроось: Computer Vision
Предобработка, аугментации, извлечение признаков.
Image preprocessingПредобработка изображений Feature extractionИзвлечение признаков
Детекция и сегментацияядроось: Computer Vision
Классификация, рамки, маски и метрика IoU.
Object DetectionДетекция объектов SegmentationСегментация Image ClassificationКлассификация изображений IoUIntersection over Union
ViT и мультимодальностьядроось: Computer Vision
Трансформеры для картинок и общие пространства «текст — изображение».
Vision TransformersVision Transformers Multimodal ModelsМультимодальные модели Latent DiffusionЛатентная диффузия
Нейросети и backpropядроось: Глубокое обучение
Слои, активации, обратное распространение ошибки.
MLPМногослойный перцептрон BackpropagationОбратное распространение ошибки Activation functionsФункции активации
Свёрточные сетиядроось: Глубокое обучение
Свёртки, остаточные связи, слои нормализации.
CNNСвёрточные сети Residual ConnectionsОстаточные связи Normalization LayersСлои нормализации
Обучение и оптимизаторыядроось: Глубокое обучение
SGD, Adam, расписание скорости обучения, ранняя остановка.
SGDСтохастический градиентный спуск AdamAdam Learning Rate SchedulingРасписание скорости обучения Early StoppingРанняя остановка
Перенос обученияядроось: Глубокое обучение
Взять предобученную модель и довести до своей задачи.
Transfer LearningПеренос обучения Fine-tuningДообучение
Метрики качестваядроось: Классический ML
Выбрать метрику под задачу и объяснить, почему не accuracy.
ROC-AUCROC-AUC PrecisionТочность RecallПолнота RMSEКорень из среднеквадратичной ошибки

Усиливает профиль, но не обязательно

Генеративные моделиPyTorch и GPUДеплой и инференсРазметка и слабое обучениеМониторинг и дрейфВалидация и калибровка

Уровни: junior, middle, senior

За что отвечает CV-инженер на каждом уровне — этим и отличается грейд.

Junior ДжуниорОбучает модель на готовом датасете и проверяет качество по IoU и точности.Решает поставленную задачу по описанию, результат проходит ревью старшего.

Middle МидлСобирает и чистит данные съёмки, выбирает архитектуру и доводит модель до устройства или сервиса.Ведёт задачу целиком: от постановки и данных до выкатки и мониторинга.

Senior СеньорОтвечает за зрение в продукте: от постановки съёмки до бюджета вычислений на месте.Отвечает за архитектуру решения, качество в проде и за то, чему учатся другие.

Оси знаний и плановые метки

Насколько направление профильно для роли и какой результат теста ожидается на каждом уровне. Проценты — плановые метки карьерного атласа, а не порог найма.

Все тесты →

Ось знаний	Значимость	Junior	Middle	Senior
Статистика и вероятность	обзорно	25%	45%	58%
Классический ML	рабочая	40%	60%	73%
Глубокое обучение	профильная	55%	75%	88%
NLP	обзорно	25%	45%	58%
Генеративный ИИ и LLM	обзорно	25%	45%	58%
Computer Vision	профильная	55%	75%	88%
Временные ряды	обзорно	25%	45%	58%
Рекомендательные системы	обзорно	25%	45%	58%
Речь: ASR и TTS	обзорно	25%	45%	58%
MLOps и инженерия	рабочая	40%	60%	73%

Как войти в профессию

Приходят из общего глубокого обучения и из инженерии. Порядок: нейросети и обучение → свёрточные сети → задачи зрения и их метрики → перенос обучения → современные архитектуры и мультимодальность.

Подобрать роль по компетенциям Проверить себя тестом Подготовка к собеседованию

Смежные роли и с чем путают

Куда легче всего перейти и от кого эту профессию чаще всего не отличают.

ML EngineerMachine Learning EngineerМодель, которая работает в проде каждый день ИсследовательResearch ScientistНовый метод там, где готовый не работает

Вопросы о профессии

Что нужнее — свёрточные сети или ViT?

Обе. Свёртки остаются рабочим выбором при ограниченном железе и небольших датасетах, трансформеры выигрывают на больших объёмах и в мультимодальных задачах. Профиль роли предполагает и то и другое.

Насколько важны данные съёмки?

Обычно важнее архитектуры. Освещение, ракурс, фон и качество разметки определяют потолок, до которого модель вообще может дойти.

Нужно ли работать с железом?

Часто да: модель нередко живёт на устройстве, и бюджет вычислений становится частью постановки задачи наравне с точностью.

Чем детекция отличается от сегментации?

Детекция отвечает, что есть на кадре и в какой рамке; сегментация — какие именно пиксели принадлежат объекту. Метрики разные, стоимость разметки — тоже.

Что учить первым?

Предобработку изображений и свёрточные сети, сразу вместе с метрикой IoU — без неё результаты детекции не с чем сравнивать.

Другие профессии в ML

Все профессии →