Стандарт SQL постоянно развивается, и с каждым новым выпуском он получает новые возможности, адаптирующиеся под требования современного мира данных и технологий. После публикации SQL:2023 многим было интересно, что же будет дальше и какие инновации принесёт следующий стандарт, который в неофициальных кругах уже называют SQL:202y. Одной из самых обсуждаемых тем последнего времени стало внедрение поддержки векторов — нового типа данных, который открывает невероятные перспективы в области работы с семантическим поиском, машинным обучением и искусственным интеллектом. Векторы — это структуры, представляющие набор чисел, расположенных в определенном пространстве размерности. В контексте баз данных их используют для представления сложных объектов, таких как текстовые описания, изображения или иные неструктурированные данные, которые трудно сравнивать напрямую традиционными способами, например, по тексту.
Вместо этого векторы помогают оценить степень семантической близости. Если два вектора математически близки, значит и объекты, которые они описывают, по смыслу схожи. Возьмем, к примеру, описания товаров в интернет-магазине. Раньше поиск по базе данных ограничивался точным совпадением или текстовым поиском с возможностью выявлять отдельные ключевые слова. Теперь же, благодаря векторным данным, можно реализовать поиск, ориентированный на смысл — пользователь сможет найти товары с похожим описанием, даже если в тексте нет точного совпадения слов.
Это значительно повышает релевантность результатов и улучшает пользовательский опыт. Новый стандарт вводит специальный тип данных vector, который задаётся с указанием размерности и типа координаты — числовое значение, например, целое или с плавающей точкой. Пример такого определения таблицы может выглядеть так: CREATE TABLE items (id int PRIMARY KEY, somedata varchar, embedding vector(100, integer)); Здесь поле embedding — это вектор размерности 100 с целочисленными координатами. Важно отметить, что способы формирования этих векторов не входят в стандарты SQL. Обычно приложения или сторонние сервисы, такие как модели машинного обучения и большие языковые модели, преобразуют исходные данные в векторы, а затем сохраняют их в базу.
Для вставки данных предусмотрен специальный конструктор vector(), позволяющий сохранять сериализованные векторы, что облегчает работу с векторными значениями. Сравнение и поиск наиболее близких векторов до сих пор представляли собой комплексные задачи, требующие создания специфичных алгоритмов и индексов. В SQL:202y заложены функции для вычисления различных метрик расстояния между векторами. В частности, поддерживаются следующие методы: косинусное расстояние, скалярное произведение (dot product), евклидово расстояние и его квадрат, расстояния Хэмминга и Манхэттена. Эти функции реализуются посредством универсальной функции vector_distance(), где можно указать, какую именно метрику использовать для сравнения.
Такой подход позволяет гибко применять разные способы оценки похожести векторов, что важно при решении различных задач. Для практического применения чаще всего требуется не просто вычислить расстояния, а отсортировать записи по степени схожести и выбрать, например, 10 наиболее близких результатов. В SQL:202y процесс упрощается благодаря поддержке ключевых конструкций языка. Например, выборка с сортировкой по векторному расстоянию и ограничением количества результатов выглядит так: SELECT * FROM items ORDER BY vector_distance(items.embedding, :someparam, cosine) FETCH FIRST 10 ROWS ONLY; Стоит обратить внимание, что в области поиска по векторным данным люди часто готовы мириться с приближенными, а не точными результатами.
В отличие от финансовых отчётов, где необходима безупречная точность, результаты поисковых запросов, основанных на векторах, должны быть максимально быстрыми и достаточно точными, чтобы пользователю было удобно и полезно. Стандарт SQL:202y учитывает эту особенность и вводит новую опцию FETCH APPROX FIRST, позволяющую запрашивать приближённые результаты, что хорошо сочетается с использованием векторных индексов и алгоритмов быстрого поиска ближайших соседей, таких как HNSW и других. Это значит, что по умолчанию при работе с векторами будет применяться режим приблизительности, что значительно ускорит обработку больших объёмов данных при сохранении качества выдачи. Также появилась возможность задавать диапазон количества возвращаемых результатов, чтобы гарантировать определённый минимум и максимум найденных записей, что помогает адаптировать поведение поиска под требования конкретного приложения. Новые возможности стандарта, конечно, не означают, что все решения станут идентичными.
Индексы для векторных данных, методы их построения и оптимизации остаются на усмотрение конкретных производителей систем управления базами данных. Это даёт простор для инноваций и оптимизаций под разные сценарии и нагрузки. Появление поддержки векторов в SQL подтверждает стремление отрасли сделать базовые языки и стандарты более универсальными и готовыми работать с современными вызовами. Это особенно актуально в эпоху быстрого роста искусственного интеллекта, больших языковых моделей и анализа неструктурированных данных. В перспективе это позволит разработчикам создавать более умные приложения, основанные на стандартизированных интерфейсах и инструментах, что облегчит их интеграцию и сопровождение.
Таким образом, SQL:202y откроет новую главу в развитии реляционных баз данных, дополнительно расширив их сферы применения и дав мощный инструмент для решения задач ближайших лет. С внедрением поддержки векторного типа данные станут не просто хранением информации, а полноценно интегрируемым элементом интеллектуальных систем, способным анализировать и сравнивать объекты на качественно новом уровне. Для всех, кто интересуется развитием SQL и возможностями работы с современными типами данных, наблюдение за изменениями в стандарте и активное участие в обсуждениях — важный шаг для понимания и успешного внедрения новых подходов в своих проектах. Добро пожаловать в эпоху векторов в SQL!.
