Плотные представления объектов, где геометрическая близость означает смысловое сходство.
Ключевые тезисы
- Контекстные (, E5) зависят от окружения слова, статические — нет.
- Косинусная близость — стандартная мера сравнения.
- БД (FAISS, pgvector, Qdrant) обеспечивают поиск по миллионам векторов.
Какую задачу решает
превращает текст в так, что близкие по смыслу тексты оказываются рядом в пространстве. Это снимает главное ограничение подсчёта слов: «врач» и «доктор» перестают быть разными объектами, а «как вернуть товар» находит документ « возврата», не имея с ним ни одного общего слова.
Ключевое различие внутри темы — статические против контекстных. и его родня дают одному слову один навсегда, и «ключ» от двери неотличим от «ключа» в роднике. и современные модели строят вектор с учётом окружения, поэтому одно и то же слово в разных предложениях получает разные представления.
Не по размеру и не по позиции в рейтинге, а по своим данным. Соберите 50–100 пар «запрос — правильный документ» из реальных логов, прогоните через каждую модель-кандидат и посчитайте @10: в скольких случаях правильный документ попал в первую десятку. Разница между моделями на вашем домене часто оказывается противоположной их порядку в общих бенчмарках, особенно если у вас русский язык или узкая терминология. Тест занимает час и экономит месяцы работы с неподходящим индексом.
Подробный разбор
| Статические | Контекстные | |
|---|---|---|
| Примеры | , GloVe, FastText | , E5, GTE |
| Омонимия | не различает: «замок» один | различает по контексту |
| Скорость | просто таблица поиска | нужен прямой проход модели |
| Применение | лёгкие модели, | поиск, , классификация |
Для поиска обычно используют модели, специально обученные на парах «запрос — релевантный документ»: их пространство устроено так, что косинусная близость соответствует релевантности, а не просто тематической похожести.
- распределение, предсказанное моделью
- норма — длина вектора
- скалярное произведение: мера согласованности векторов
- HNSW — многослойный соседства: быстрый поиск, высокая точность, большой расход памяти.
- IVF-PQ — разбиение на ячейки плюс : компактно, подходит для очень больших коллекций.
- Практика: pgvector для миллионов , Qdrant / FAISS — для десятков миллионов и выше.
ANN-поиск приближённый: параметр ef_search регулирует компромисс « против скорости». Проверяйте recall индекса относительно полного перебора на выборке запросов.
Где применяется
- и Основной механизм подбора релевантных фрагментов.
- текстовГруппировка обращений, отзывов, новостей без разметки.
- Классификация с малой выборкой плюс дают приличное качество на сотнях примеров.
- ДедупликацияПоиск почти одинаковых текстов, отличающихся формулировками.
- РекомендацииПохожие товары и статьи по близости описаний.
Плюсы, минусы и альтернативы
Плюсы
- Улавливают смысл и синонимию.
- Один фиксированной длины для текста любого размера.
- Позволяют искать по миллионам документов за миллисекунды.
- Предобученные модели работают без .
- Переносятся между задачами: один индекс, много применений.
Минусы
- Плохо ловят точные термины, коды и редкие имена.
- Качество зависит от того, насколько домен близок к обучающему корпусу.
- Длинные документы приходится резать: один не удерживает страницу текста.
- моделей несовместимы: смена модели требует переиндексации.
- Непрозрачны — понять, почему два текста оказались близки, трудно.
Брать, если
- Нужен поиск или сравнение по смыслу.
- Формулировки пользователей разнообразны, а точных совпадений мало.
- Разметки мало и нужны готовые текста.
Не брать, если
- Важны точные совпадения терминов — берите BM25 или гибрид.
- Домен очень специфичен, а дообучить нечем.
Чем заменяют
Видеолекции
Записи университетских курсов, где эта тема звучит. Где у записи есть тайм-коды, ссылка открывает её с нужной секунды; где их не проставили — с начала.
Связанные темы
Прикладные задачи NLP · Представления и снижение размерности · Поиск, эмбеддинги и RAG · От слов к векторам · Мультимодальность
TF-IDF95%
TF-IDF · Обработка естественного языкаВзвешивает частоту слова в документе на его редкость в корпусе, подавляя общеупотребительные слова.
LLM95%
Большие языковые модели · Генеративный ИИТрансформеры-декодеры, обученные на огромных корпусах предсказывать следующий токен.
Semantic Search80%
Семантический поиск · Обработка естественного языкаПоиск по смыслу, а не по совпадению слов: запрос и документы сравниваются в пространстве эмбеддингов.
RAG80%
Retrieval-Augmented Generation · Обработка естественного языкаЯзыковая модель отвечает, опираясь на найденные во внешней базе фрагменты, а не только на память весов.
RAG80%
RAG · Генеративный ИИПодмешивание найденных документов в контекст модели вместо хранения знаний в весах.
Agents80%
Агенты · Генеративный ИИLLM, которая планирует, вызывает инструменты и итеративно движется к цели.
NDCG80%
NDCG · МетрикиНормированный дисконтированный кумулятивный выигрыш: учитывает градации релевантности и позиции с логарифмическим дисконтом.
MRR80%
Средний обратный ранг · МетрикиСреднее значение 1/rank первого релевантного результата.
MAP80%
Средняя усреднённая точность · МетрикиСреднее по запросам от average precision — учитывает и релевантность, и позиции.
Precision@K80%
Точность@K · МетрикиДоля релевантных объектов среди первых K позиций выдачи.
Recall@K80%
Полнота@K · МетрикиКакая доля всех релевантных объектов попала в топ-K.
Text classification75%
Классификация текстов · Обработка естественного языкаОтнесение документа к одной или нескольким категориям: от спам-фильтра до маршрутизации тикетов.
NER75%
Извлечение именованных сущностей · Обработка естественного языкаРазметка последовательности: находим в тексте имена, организации, даты, суммы.
Sentiment Analysis75%
Анализ тональности · Обработка естественного языкаОпределение эмоциональной окраски текста — от бинарной оценки до аспектной тональности.
BERT75%
BERT · Обработка естественного языкаДвунаправленный энкодер, предобученный на восстановлении замаскированных токенов.
F175%
F1-мера · МетрикиГармоническое среднее точности и полноты — компромисс между ними одним числом.
Precision75%
Точность · МетрикиКакая доля объектов, предсказанных положительными, действительно положительна.
Recall75%
Полнота · МетрикиКакая доля реально положительных объектов найдена моделью.
Tokenization75%
Токенизация · Обработка естественного языкаРазбиение текста на единицы, с которыми работает модель: слова, подслова или байты.
Bag of Words75%
Мешок слов · Обработка естественного языкаТекст представляется вектором частот слов, порядок полностью игнорируется.
Word2Vec75%
Word2Vec · Обработка естественного языкаОбучает плотные векторы слов по контексту: близкие по смыслу слова оказываются рядом в пространстве.
GloVe75%
GloVe · Обработка естественного языкаСтроит эмбеддинги из глобальной матрицы совстречаемости слов, а не только из локальных окон.
FastText75%
FastText · Обработка естественного языкаПредставляет слово суммой векторов его символьных n-грамм, что даёт эмбеддинги даже для незнакомых слов.
Multimodal Models75%
Мультимодальные модели · Компьютерное зрениеЕдиное пространство для изображений и текста — основа поиска по описанию и визуальных ассистентов.
Multimodal Models75%
Мультимодальные модели · Генеративный ИИЕдиная модель, принимающая и порождающая несколько модальностей: текст, изображения, звук.
Vision Transformers75%
Vision Transformers · Компьютерное зрениеИзображение режется на патчи, которые обрабатываются как последовательность токенов.
OCR75%
Оптическое распознавание текста · Компьютерное зрениеИзвлечение текста из изображений и сканов: детекция областей текста и его распознавание.
PCA70%
Метод главных компонент · Классическое машинное обучениеОртогональная проекция на направления максимальной дисперсии — линейное сжатие с минимальной потерей информации.
Dimensionality reduction70%
Снижение размерности · ДанныеПроекция данных в пространство меньшей размерности с сохранением структуры — против проклятия размерности.
Dimensionality Reduction70%
Снижение размерности · Обучение без учителяКомпактное представление данных, сохраняющее важную часть структуры.
Representation Learning70%
Обучение представлений · Обучение без учителяМодель сама учится полезным признакам, чаще всего через self-supervised задачи.
Autoencoders70%
Автоэнкодеры · Глубокое обучениеСеть учится восстанавливать вход через узкое место, получая сжатое представление.
Eigenvalue70%
Собственное значение · Математический справочникКоэффициент растяжения вдоль направления, которое преобразование не поворачивает.
Eigenvector70%
Собственный вектор · Математический справочникНаправление, сохраняющееся при линейном преобразовании с точностью до масштаба.
Всё, что названо в описании, разобрано здесь же или в соседней теме — переходы под каждым определением.
Статические эмбеддинги
Один на слово (, GloVe, fastText). Быстро, но контекст не учитывается.
Разбор ниже: Статические и контекстныеКонтекстные эмбеддинги
зависит от предложения ( и далее). Разрешают многозначность.
Разбор ниже: Статические и контекстныеКосинусная близость
Стандартная мера сходства : угол, а не расстояние.
Разбор ниже: Векторный поиск на практикеВекторный индекс
HNSW или IVF: приближённый поиск среди миллионов за миллисекунды.
Разбор ниже: Векторный поиск на практикеЭмбеддинг документа
Отдельные модели (sentence-transformers) обучены давать сравнимые целых текстов, а не слов.
Разбор ниже: Векторный поиск на практикеПрофильная компетенция для ролей: NLP-инженер, LLM-инженер, Инженер рекомендаций.
Усиливает профиль: Продуктовый инженер, Исследователь.
Спрашивают на собеседовании: Яндекс — NLP, Яндекс — RecSys, Сбер — NLP и LLM, Т-Банк — Рекомендации и персонализация, Авито — Поиск и ранжирование, VK — Лента и рекомендации, Ozon — Поиск и рекомендации, Wildberries — Каталог, поиск и атрибуты, Lamoda — Рекомендации и поиск, Спортмастер — Рекомендации и омниканальность, HeadHunter — Матчинг и рекомендации, HeadHunter — Тексты вакансий и резюме, 2ГИС — Геопоиск и навигация, Росатом — Документооборот и NLP.
Тема встречается в тестах по направлениям — ошибки приведут обратно на эту страницу.
Разбор архитектуры, где эта тема — один из кирпичей: требования, развилки, цифры и режимы отказа.
Глава «Обработка естественного языка» последний раз правилась . Нашли ошибку — напишите.