Multimodal Models

Единое пространство для изображений и текста — основа поиска по описанию и визуальных ассистентов.

Ключевые тезисы

CLIP обучается контрастно на парах «изображение — подпись».
Zero-shot классификация задаётся текстовыми описаниями классов.
VLM (LLaVA, Qwen-VL) добавляют к зрительный энкодер.

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

L = - \frac{1}{2 N} i \sum [lo g \frac{e ^{⟨ v_{i}, t_{i} ⟩ / τ}}{\sum _{j} e ^{⟨ v_{i}, t_{j} ⟩ / τ}} + lo g \frac{e ^{⟨ v_{i}, t_{i} ⟩ / τ}}{\sum _{j} e ^{⟨ v_{j}, t_{i} ⟩ / τ}}]

Обозначения

$τ$ порог или задержка
$n$ число объектов в выборке
$L$ функция потерь — то, что минимизируется при обучении
$\sum$ суммирование по всем перечисленным элементам
$⟨ a, b ⟩$ скалярное произведение: мера согласованности векторов
$lo g$ логарифм: превращает произведения в суммы и сжимает масштаб
$exp$ экспонента

Симметричная InfoNCE: правильная пара должна быть ближе всех остальных в батче

Zero-shot классификация: вместо обучения классификатора сравниваем картинки с эмбеддингами фраз «фото кошки», «фото собаки».
Поиск по описанию работает из коробки: текст и изображение лежат в одном пространстве.
VLM (LLaVA, Qwen-VL) добавляют зрительный энкодер к и позволяют вести диалог о картинке, документе или скриншоте.

Поиск по описанию в каталоге товаров и медиатеке.
Модерация: zero-shot проверка на запрещённый контент по текстовым описаниям политик.
Документы: извлечение полей из счетов и договоров без обучения на каждый шаблон.
Автоописания и alt-тексты для доступности.

На практике

У VLM есть характерная слабость: точный подсчёт объектов и чтение мелкого текста. Для этих задач надёжнее специализированные детекторы и .

Видеолекции

Тайм-кода именно на эту тему в записях нет. Но глава «Компьютерное зрение» разобрана в курсах целиком — с той оговоркой, что место в записи придётся искать самому.

Курс: Глубокое обучение11 записей Курс: Компьютерное зрение 3D9 записей Курс: Генеративные модели26 записей

Связанные темы

Мультимодальность

Кому эта тема нужна

Профильная компетенция для роли: CV-инженер.

Спрашивают на собеседовании: Авито — Модерация контента, VK — Зрение и модерация контента, Lamoda — Зрение и атрибуты каталога.

Добавить в учебную программу

Проверить себя

Тема встречается в тесте по направлениям — ошибки приведут обратно на эту страницу.

Тест: Computer Vision24

Следующий шагПроверить себя: Computer VisionТема встречается в этом тесте 1 раз. Ошибка приведёт обратно на эту страницу — с объяснением, что именно не сошлось.Перейти →

Глава «Компьютерное зрение» последний раз правилась 26 августа 2026 г.. Нашли ошибку — напишите.

Ключевые тезисы

Подробный разбор

Видеолекции

Связанные темы