В современном мире технологий работы с векторными представлениями данных особое место занимают системы поиска по векторным пространствам. Такие системы востребованы в областях обработки естественного языка, компьютерного зрения, рекомендательных систем, а также в множестве приложений, связанных с извлечением информации из больших объемов неструктурированных данных. В этом контексте проект QSS (Quantized Similarity Search) представляет собой инновационный подход к ускорению и оптимизации векторного поиска, основанный на агрессивной квантизации. Этот поисковый движок, реализованный на языке программирования C, позволяет свести цифровое представление эмбеддингов до одного бита на измерение, что обеспечивает значительную экономию памяти и ускорение поиска без существенной потери качества результатов. Идея и методология QSS кардинально отличаются от традиционных методов, использующих полноточное плавающее представление векторов.
Обычно для представления эмбеддингов используются 32-битные или 64-битные числа с плавающей точкой, что при большом объеме данных приводит к значительным затратам памяти и вычислительным ресурсам. QSS же реализует идею агрессивной квантизации, превращая каждый измерительный коэффициент эмбеддинга в один бит информации. Такой подход позволяет для 300-мерного эмбеддинга получить всего 300 бит, что эквивалентно примерно 40 байтам, существенно уменьшая объем данных. Основной механизм поиска в QSS строится на использовании поразрядного XOR и функции подсчета единичных битов (popcount), что позволяет быстро оценивать расхождение между бинарными представлениями векторов по мере Хэмминга. Это значительно ускоряет нахождение наиболее схожих векторов по сравнению с классическими вычислениями косинусного сходства на полноточных плавающих точках.
После отбора узкого списка кандидатов происходит их повторный ранжир с использованием точного косинусного сходства на исходных плавающих точках, что восстанавливает точность результатов. Преимущества данной технологии очевидны. Во-первых, экономия памяти при таком сжатии огромна, что открывает возможности для работы с очень большими наборами данных на ограниченных по ресурсам устройствах. Во-вторых, использование операций XOR и popcount позволяет реализовать высокопроизводительный поиск за счет простоты и эффективности битовых операций, оптимально поддерживаемых современными процессорами. В-третьих, гибридный подход с повторным рейтингом на исходных данных снижает негативный эффект агрессивной квантизации, удерживая качество результата на приемлемом уровне.
QSS поддерживает работу с популярными форматами эмбеддингов, такими как GloVe, Word2Vec и fastText, что облегчает интеграцию с существующими решениями и использование готовых моделей без необходимости их дополнительной дообучения или преобразования. По предварительным тестам с небольшими наборами данных были получены впечатляющие результаты: для запросов типа "hello" или "italy" первые 30 результатов полностью совпадали с полноточным поиском на косинусном сходстве. Кроме того, скорость обработки увеличивалась в среднем в 18 раз по сравнению с традиционным перебором. Несмотря на обнадеживающие перспективы, проект пока находится на начальной стадии развития и требует дальнейшего масштабного тестирования и оптимизации. В частности, текущая реализация осуществляет линейный перебор без использования индексов или других структур данных для ускорения поиска, а также работает в однопоточном режиме на сравнительно слабом процессоре Intel i3 2018 года.
Отсюда возникают вопросы о применимости метода в условиях огромных многомиллионных баз векторов и на современных многоядерных системах. Впрочем, преимущества по скорости и памяти показывают концептуальную состоятельность идеи, особенно в нишах, где ресурсы ограничены, а быстродействие критично. Одним из направлений для дальнейшего развития QSS может стать тестирование и адаптация к эмбеддингам, специально обученным или адаптированным для бинарной квантизации, что может значительно повысить качество поиска и устойчивость к потерям информации при сжатии. В этом направлении интерес вызывают такие модели, как Mixedbread и Nomic, о которых уже упоминалось в обсуждениях пользователей сообщества Hacker News. Работа с подобными породами эмбеддингов поможет понять потенциал технологии в широком спектре задач и отраслях.
Кроме того, стоит исследовать комбинацию агрессивной квантизации с современными алгоритмами приближенного поиска по векторным похожестям, например, с подходами на основе деревьев, хеширования и графов. В частности, интеграция с технологиями ANN (Approximate Nearest Neighbor) могла бы повысить масштабируемость решения, обеспечивая быстрое предварительное сужение кандидатов, а затем точную выборку по бинарным представлениям QSS для максимальной оптимизации. Интерес к подобным низкоуровневым и высокопроизводительным решениям растет на фоне экспоненциального увеличения объемов данных и запросов в реальном времени. Компании и научные проекты заинтересованы в оптимизации не только алгоритматических аспектов, но и фундаментальных представлений данных. QSS своей концепцией и технической реализацией в языке C предлагает экономичный и эффективный инструмент, способный вписаться в эти тенденции.
Однако необходимо учитывать и ограничения. Восстановление исходного качества поиска после сильной квантизации требует правильного баланса между скоростью и точностью, который может варьироваться в зависимости от задачи и характера данных. Однородность и качество исходных эмбеддингов тоже влияют на итоговый результат. Без адаптации к специфике конкретных моделей и данных агрессивное сжатие может приводить к снижению релевантности и ухудшению пользовательского опыта. В итоге QSS представляет перспективное направление в области векторных поисковых систем с точки зрения эффективности хранения и вычислений.
Его открытый исходный код и гибкость делают проект привлекательным для сообщества разработчиков и исследователей, заинтересованных в экспериментальных методах оптимизации векторного поиска. Активное сообщество, публикация прогрессивных результатов и обмен опытом будут способствовать дальнейшему развитию и адаптации технологии для коммерческих и научных целей. Таким образом, агрессивная квантизация вектора с использованием битовых операций – не просто любопытный academic proof-of-concept, но вполне практичная технология, имеющая потенциал к применению в условиях ограниченных ресурсов и больших данных. Векторный поиск нового поколения, подобный QSS, способен открыть новые горизонты в области обработки информации и интеллектуального анализа, сочетая скорость, эффективность и точность на высоком уровне.
