Векторное представление

Векторное представление - способ представления объекта, данных или признаков в виде упорядоченного набора числовых значений, рассматриваемого как вектор в некотором математическом пространстве.

Векторное представление является результатом процесса векторизации и служит основой для математической обработки объектов алгоритмами машинного обучения, поиска и классификации. Важно различать: векторизация описывает действие преобразования данных, тогда как векторное представление описывает полученную форму - сам вектор, его свойства, структуру и интерпретацию.

Коротко: Векторное представление - это числовой образ объекта (текста, изображения, сущности), записанный как упорядоченный набор координат в математическом пространстве, что позволяет алгоритмам сравнивать объекты через вычисление расстояний или сходства между ними.

Простой пример

Пусть объект представлен вектором из четырёх чисел:

[0.2, 0.7, 0.1, 0.9]

Это означает:

• размерность вектора - 4 (четыре координаты);
• координаты - четыре числовых значения в заданном порядке;
• значения - каждое число отражает величину по соответствующей оси пространства;
• положение в пространстве - вектор задаёт точку (или направление от начала координат) в четырёхмерном пространстве.

В современных плотных векторных представлениях отдельным координатам, как правило, нельзя приписать простые человеческие смыслы («координата 1 - эмоциональность», «координата 2 - формальность»). Координаты отражают латентные, неявно выявленные моделью признаки, и их интерпретация возможна только в совокупности.

Векторное пространство

Множество всех возможных векторов фиксированной размерности образует векторное пространство. Ключевые характеристики такого пространства:

• Размерность. Количество координат в векторе.
• Координаты. Числовые значения по каждой оси пространства.
• Расстояние. Мера различия между двумя векторами (чем больше расстояние, тем более различны объекты с точки зрения модели).
• Сходство. Мера близости векторов (чем выше сходство, тем более похожи объекты).
• Направление. Ориентация вектора в пространстве; векторы с близким направлением часто соответствуют семантически сходным объектам.
• Плотность. Доля ненулевых координат. Различают разреженные (много нулей) и плотные (большинство координат ненулевые) векторы.

Интерпретация координат и геометрии пространства целиком зависит от того, каким способом это пространство было построено - статистическим методом, обученной нейросетью или экспертным разбиением признаков.

Векторное представление в информационном поиске

Исторически одной из первых формальных моделей, использующих векторные представления, стала векторная модель информационного поиска (Vector Space Model). В ней документы и поисковые запросы представляются как векторы в пространстве терминов, где каждая координата соответствует определённому слову или признаку.

Схема работы классической модели:

• Документ → вектор. Вектор с координатами, отражающими частоту или взвешенную значимость терминов (например, TF-IDF).
• Запрос → вектор. Аналогичное преобразование поискового запроса.
• Сходство. Вычисление меры близости вектора запроса и вектора документа.
• Релевантность. Документы с более высоким сходством считаются более релевантными запросу.

Классическая векторная модель стала одной из важных моделей информационного поиска. Наряду с ней развивались другие подходы, включая вероятностные модели и алгоритмы ранжирования типа BM25. Важно не смешивать классическую векторную модель и современные нейросетевые эмбеддинги: в первом случае пространство строится на явных признаках (терминах), во втором - на латентных семантических характеристиках, выявленных обучением.

Разреженные и плотные векторные представления

По структуре координат векторные представления делятся на два больших класса.

Разреженные векторы:

• Большинство координат равны нулю.
• Координаты часто имеют явную интерпретацию: соответствуют конкретным терминам, признакам или категориям.
• Размерность может быть очень высокой (десятки или сотни тысяч, по числу уникальных терминов в коллекции).
• Примеры: one-hot encoding, «мешок слов», TF-IDF.

Плотные векторы:

• Большинство координат имеют ненулевые значения.
• Отдельные координаты, как правило, не имеют прямой интерпретации.
• Размерность фиксирована для конкретной модели и обычно существенно меньше размерности разреженных представлений.
• Примеры: векторные представления слов, предложений, документов, полученные нейросетевыми моделями.

Классический поиск по терминам часто использует разреженные представления, тогда как семантический поиск широко использует плотные векторные представления.

Эмбеддинги как вид векторного представления

Эмбеддинг - это векторное представление, полученное обученной моделью (обычно нейросетью) таким образом, чтобы определённые отношения между объектами отражались в геометрии пространства: семантически близкие объекты имеют близкие векторы, далёкие - удалённые.

Основные типы эмбеддингов:

• Векторные представления слов - отображают слова в плотное пространство, где близость отражает контекстную схожесть.
• Векторные представления предложений - кодируют смысл целого предложения.
• Векторные представления документов - описывают документ как целостный объект.
• Векторные представления изображений - кодируют визуальные признаки.
• Мультимодальные эмбеддинги - отображают объекты разных типов (текст и изображение) в общее пространство, где их можно сравнивать между собой.

Эмбеддинги не «понимают смысл» в человеческом смысле слова - они отражают статистические закономерности обучающих данных. Их геометрия удобна для алгоритмов, но не тождественна человеческому восприятию.

Семантическая близость

Центральная идея использования векторных представлений: близкие в векторном пространстве объекты считаются сходными по определённому критерию. Это позволяет алгоритмам находить похожие документы, рекомендовать товары, кластеризовать данные без явного описания правил сходства.

Однако важно понимать ограничения:

• Геометрическая близость отражает лишь тот аспект сходства, который зафиксирован в пространстве моделью.
• Одна и та же пара объектов может быть близкой по одному критерию и далёкой по другому.
• Пространство эмбеддингов зависит от обучающих данных и архитектуры модели, поэтому результаты могут воспроизводить их смещения и ограничения.

Семантическая близость, выявленная моделью, является операционным понятием для алгоритма, а не универсальным доказательством истинной эквивалентности объектов.

Метрики сходства

Для сравнения векторов применяются различные математические функции:

• Косинусная близость. Измеряет косинус угла между векторами. Значения от −1 до 1; 1 означает совпадающее направление, 0 - ортогональность. Часто используется для плотных эмбеддингов.
• Скалярное произведение. Учитывает и направление, и длину векторов. Применяется в некоторых современных моделях поиска.
• Евклидово расстояние. Геометрическое расстояние между концами векторов. Меньшее значение соответствует большей близости.

Выбор функции сходства существенно влияет на результаты: одна и та же пара векторов может считаться близкой по одной метрике и далёкой по другой. Конкретная функция определяется архитектурой системы и способом обучения эмбеддингов.

Векторное представление и ретривал

В современных системах информационного поиска и извлечения информации векторные представления используются как основа для поиска релевантных объектов. Упрощённая схема:

Объекты коллекции → векторные представления → индекс → запрос → вектор запроса → поиск ближайших кандидатов → результат

Такой подход называется векторным или плотным поиском и опирается на алгоритмы приближённого поиска ближайших соседей, которые позволяют находить близкие векторы в больших коллекциях без полного перебора.

Векторное представление - это форма данных, а ретривал - процесс поиска по этим данным. Смешивать эти понятия не следует: одно является статической структурой, другое - динамической операцией.

Векторное представление в архитектуре RAG

В архитектуре RAG (Retrieval-Augmented Generation) векторные представления играют важную роль на этапе подготовки и поиска контекста:

Документ → фрагмент → эмбеддинг → векторный индекс

Запрос пользователя → эмбеддинг → поиск по сходству → извлечённые фрагменты → LLM → ответ

В современных реализациях RAG векторные представления часто используются для семантического поиска релевантных фрагментов, хотя конкретная архитектура может применять и другие методы ретривала. Векторные представления обеспечивают возможность находить смысловые соответствия между запросом и фрагментами текста, даже если точного совпадения слов нет.

Векторные представления и искусственный интеллект

Векторные представления применяются в широком спектре задач генеративного и предиктивного ИИ:

• Обработка естественного языка.
• Семантический поиск.
• Рекомендательные системы.
• Кластеризация и Классификация.
• Архитектура RAG.
• Компьютерное зрение.
• Мультимодальные задачи.
• Связывание и разрешение сущностей.

Векторная форма позволяет представлять различные типы данных в едином математическом формате и использовать общие методы их сравнения, группировки и классификации. Возможность сопоставления разных типов данных зависит от способа построения векторного пространства и используемой модели.

Ограничения

Векторные представления имеют ряд принципиальных ограничений:

• Зависимость пространства от модели. Эмбеддинги, полученные разными моделями, живут в разных пространствах и обычно несовместимы между собой.
• Одинаковая размерность ≠ совместимость. Векторы одной размерности от разных моделей нельзя сравнивать напрямую.
• Неинтерпретируемость координат. Отдельные координаты плотных векторов обычно не имеют простого человеческого смысла.
• Сходство ≠ семантическая идентичность. Близость векторов отражает лишь тот аспект, который выявлен моделью.
• Наследование смещений. Пространство эмбеддингов воспроизводит статистические закономерности обучающих данных, включая их искажения.
• Нестабильность при смене модели. Переход на новую модель эмбеддингов требует переиндексации всей коллекции, так как старые и новые векторы, как правило, несопоставимы.

Связь с GEO и MEO

Векторные представления используются в ряде современных систем семантического поиска, извлечения информации и архитектуры RAG. Поэтому понимание принципов векторного представления важно для анализа того, как информационные системы могут сопоставлять запросы с документами, фрагментами и другими объектами.

В контексте GEO и концепции MEO понимание векторных представлений помогает анализировать один из механизмов, используемых современными системами семантического поиска и ретривала. При этом маркетолог не управляет векторным представлением контента в сторонних системах напрямую.

Часто задаваемые вопросы

Что такое векторное представление простыми словами?

Это способ записать объект (слово, документ, изображение) в виде набора чисел, чтобы компьютер мог сравнивать такие объекты математически. Два объекта с близкими наборами чисел система будет считать похожими.

Чем векторное представление отличается от векторизации?

Векторизация - это процесс преобразования данных. Векторное представление - это результат этого процесса, то есть сам числовой вектор и его свойства.

Что такое эмбеддинг?

Это векторное представление, полученное обученной моделью (обычно нейросетью) таким образом, чтобы семантически близкие объекты имели близкие векторы. Эмбеддинг - частный случай векторного представления, не всякий вектор является эмбеддингом.

Что такое векторное пространство?

Это математическое множество всех возможных векторов фиксированной размерности, снабжённое операциями сложения векторов и умножения на число. В контексте машинного обучения это пространство, в котором «живут» векторные представления объектов.

Что такое косинусная близость?

Метрика, измеряющая косинус угла между двумя векторами. Значение 1 означает совпадающее направление (максимальное сходство), 0 - ортогональные векторы, −1 - противоположные направления. Широко используется для сравнения эмбеддингов.

Чем разреженный вектор отличается от плотного?

В разреженном векторе большинство координат равно нулю, а ненулевые часто имеют явную интерпретацию (например, соответствуют терминам). В плотном векторе большинство координат ненулевые, но отдельным координатам нельзя приписать простой смысл.

Можно ли считать эмбеддинг универсальным представлением смысла?

Нет. Эмбеддинг отражает лишь те закономерности, которые модель выявила в обучающих данных. Разные модели создают разные пространства, и один и тот же объект может быть представлен по-разному в зависимости от задачи и данных обучения.

Как векторные представления используются в RAG?

В RAG документы разбиваются на фрагменты, для каждого создаётся векторное представление, все векторы сохраняются в индексе. При поступлении запроса его тоже переводят в вектор и ищут ближайшие к нему фрагменты, которые затем передаются в языковую модель как контекст для генерации ответа.

Связанные термины

• Обработка естественного языка
• Рекомендательные системы
• Компьютерное зрение
• Кластеризация
• Классификация
• Генеративный AI
• Мультимодальность
• Нейросеть