Единая модель, принимающая и порождающая несколько модальностей: текст, изображения, звук.
Ключевые тезисы
- Обычно это зрительный энкодер, спроецированный в пространство .
- Позволяют решать задачи по документам, схемам и скриншотам.
- Разметка мультимодальных данных — главный узкий ресурс.
Подробный разбор
- Изображение проходит через зрительный энкодер (обычно CLIP ).
- Проектор (linear или MLP) переводит зрительные в пространство .
- Эти «зрительные » подставляются в контекст вместе с текстом.
- Дальше — обычная авторегрессионная генерация.
Обучение обычно двухэтапное: сначала выравнивание проектора при замороженных энкодере и , затем инструктивное на диалогах об изображениях.
- Точный подсчёт объектов («сколько здесь стульев») — слабое место почти всех моделей.
- Мелкий текст и таблицы: лучше отдельный и парсер структуры.
- Пространственные отношения («левее чем») распознаются неуверенно.
- деталей, которых нет на изображении, — типичны при наводящем вопросе.
Видеолекции
Тайм-кода именно на эту тему в записях нет. Но глава «Генеративный ИИ» разобрана в курсах целиком — с той оговоркой, что место в записи придётся искать самому.
Связанные темы
Мультимодальность
Multimodal Models75%
Мультимодальные модели · Компьютерное зрениеЕдиное пространство для изображений и текста — основа поиска по описанию и визуальных ассистентов.
Vision Transformers75%
Vision Transformers · Компьютерное зрениеИзображение режется на патчи, которые обрабатываются как последовательность токенов.
OCR75%
Оптическое распознавание текста · Компьютерное зрениеИзвлечение текста из изображений и сканов: детекция областей текста и его распознавание.
Embeddings75%
Эмбеддинги · Обработка естественного языкаПлотные векторные представления объектов, где геометрическая близость означает смысловое сходство.
LLM75%
Большие языковые модели · Генеративный ИИТрансформеры-декодеры, обученные на огромных корпусах предсказывать следующий токен.
Глава «Генеративный ИИ» последний раз правилась . Нашли ошибку — напишите.