Representation Learning

Модель сама учится полезным признакам, чаще всего через self-supervised задачи.

Ключевые тезисы

Контрастные методы (SimCLR, InfoNCE) сближают одного объекта.
Маскированное (, ) — вторая большая парадигма.
Хорошие представления резко снижают потребность в разметке.

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

L_{InfoNCE} = - lo g \frac{exp (⟨ z _{i} , z _{i}^{+} ⟩ / τ )}{\sum _{j} exp (⟨ z _{i} , z _{j} ⟩ / τ )}

Обозначения

$τ$ порог или задержка
$L$ функция потерь — то, что минимизируется при обучении
$\sum$ суммирование по всем перечисленным элементам
$⟨ a, b ⟩$ скалярное произведение: мера согласованности векторов
$lo g$ логарифм: превращает произведения в суммы и сжимает масштаб
$exp$ экспонента

Положительная пара — две одного изображения (или предложение и его перефразировка). Отрицательные — все остальные объекты . Модель учится представлению, инвариантному к аугментациям, но различающему объекты.

критичен: он определяет число отрицательных примеров.
Температура $τ$ регулирует, насколько жёстко штрафуются «трудные» отрицательные примеры.
Альтернатива — маскированное (, ): проще в реализации и не требует больших батчей.

Linear probe: обучаем линейный классификатор поверх замороженных представлений — чем выше качество, тем лучше пространство.
k-NN evaluation: качество без всякого обучения.
Few-shot: качество при 1–10 размеченных примерах на класс — то, ради чего представления обычно и учат.