В современном мире разработки искусственного интеллекта и обработки больших объемов данных все чаще возникают задачи, связанные с эффективным управлением персонализированным контентом и безопасностью доступа к нему. Одной из таких востребованных технологий является Retrieval-Augmented Generation (RAG), позволяющая интегрировать большие языковые модели с релевантными базами знаний. Однако традиционные подходы к RAG нередко сталкиваются с проблемами масштабирования, безопасности и высокой стоимости при работе с разноплановыми данными. Именно поэтому появилась необходимость в новой архитектуре, способной сочетать высокую производительность и надежность без ущерба безопасности и удобству. DuckRAG — инновационное решение, построенное на базе DuckDB, созданное для серверной безсерверной реализации с поддержкой единственного пользователя (single tenant), представляет собой прорыв в этом направлении.
DuckDB — это легковесная и эффективная аналитическая база данных, которая обеспечивает невероятную скорость выполнения SQL-запросов и уникальные возможности работы с векторными данными. Ее архитектура отлично подходит для встроенных решений и может быть легко интегрирована с облачными хранилищами. В системе DuckRAG база данных DuckDB используется для хранения и обработки векторов эмбеддингов, которые служат цифровым представлением контента. Таким образом достигается максимально быстрый и простой поиск релевантных элементов при запросах пользователя, без необходимости постоянного обращения к основным продуктивным системам. Одной из главных проблем при реализации RAG-систем является обеспечение персонализированного доступа к данным, поскольку каждый пользователь в организации имеет уникальные права и уровни доступа к разным элементам контента: таблицам, запросам, дашбордам, комментарием и другим компонентам.
Поддержание безопасности и предотвращение утечек информации требует тщательной фильтрации и авторизации на каждом этапе обработки данных. В традиционных подходах к RAG это может приводить к высокой нагрузке на служебные базы данных и существенно замедлять работу системы, особенно при масштабировании на множество пользователей. DuckRAG решает эту задачу благодаря принципу предварительной обработки и изоляции пользовательских данных. Для каждого пользователя создается отдельная база данных DuckDB с предвычисленными эмбедингами и метаданными, полностью отражающая доступный ему набор компонентов. Эти базы хранятся в облачном объектном хранилище S3 и используются для обработки запросов к AI без промежуточных вызовов к основным системам.
Такой подход позволяет минимизировать задержки, снизить нагрузку и повысить безопасность, поскольку пользовательский доступ ограничен только его собственным изолированным экземпляром. Процесс обновления данных в DuckRAG основан на популярной стратегии «fan-out-write», которая давно применяется для генерации персонализированных лент новостей и других динамических потоков. При создании или изменении объекта в системе Summer создается эмбеддинг, затем выявляется список пользователей с правом доступа к нему, и для каждого пользователя создается отдельное событие в потоковом процессоре. Далее данные последовательно добавляются в соответствующие DuckDB-файлы, обеспечивая постоянную актуальность персональных баз. Несмотря на потенциальную избыточность хранения одного и того же объекта несколько раз, экономия ресурсов и упрощение запросов для конечных пользователей оправдывают такой компромисс.
При поступлении пользовательского запроса система генерирует эмбеддинг для полученного промпта средствами современных API, например OpenAI. После этого к сессии DuckDB прикрепляется соответствующий файлу пользователя экземпляр DuckRAG, и на базе функции array_cosine_distance() с расширением векторного поиска (VSS) производится запрос на выборку самых релевантных данных. Важной особенностью является фильтрация по максимальному расстоянию в косинусном пространстве, что повышает точность и релевантность возвращаемой информации. Примером может служить ситуация, когда пользователь интересуется лучшими по отзывам вкусами мороженого. Система формирует вектор запроса, присоединяет к сеансу DuckDB персональный DuckRAG-файл и извлекает наиболее близкие по смыслу таблицы, такие как sample_data_icecream_reviews и sample_data_icecream_products.
Тем самым обеспечивается мгновенный доступ к нужной информации и существенно увеличивается качество ответа со стороны языковой модели. Текущая реализация DuckRAG уже показала впечатляющую производительность и надежность. Но команда разработчиков не останавливается на достигнутом и планирует добавить ряд улучшений, среди которых выделяется легковесное кэширование файлов DuckRAG на вычислительных узлах с механизмом инвалидирования при записи. Это позволит оптимизировать работу при частых запросах одного и того же пользователя. Кроме того, ожидается реализация групповых операций записи событий для уменьшения накладных расходов и эксперименты с новыми моделями эмбеддингов и методами векторного поиска.
DuckRAG демонстрирует потенциал использования DuckDB не только как традиционной аналитической базы, но и как быстроразвивающегося векторного хранилища, способного напрямую конкурировать с выделенными решениями в области наборов поиска и индексации данных. Такая архитектура обещает стать незаменимым инструментом в будущем развитии AI-сервисов, ориентированных на расширенную персонализацию и безопасность. Дополнительным преимуществом подхода является его экономическая эффективность. Несмотря на избыточность хранения, объём персональных файлов пользователя остается небольшим — в примерах проекта DuckRAG размер файла варьируется от 4 до 6 мегабайт на пользователя, что в совокупности с низкой стоимостью хранения в облаке делает проект выгодным и масштабируемым для крупных организаций. Можно отметить, что концепция сервера без сервера (serverless) и принцип single tenant в DuckRAG обеспечивают максимальное удобство и надежность для конечных клиентов.
Отпадает необходимость в постоянном обслуживании инфраструктуры, управлении сложными механизмами авторизации по запросам и дорогостоящих централизованных решениях. Вместо этого создается максимально прозрачная, гибкая и безопасная система на основе передовых технологий. На текущий момент DuckRAG находится в разработке с планами по открытию исходного кода и выпуску коммерческого продукта. Подобная архитектура может заинтересовать компании, стремящиеся повысить качество AI-ориентированных сервисов, минимизировать риски утечки данных и упростить масштабирование возможностей персонализации без ущерба для производительности. Подводя итог, DuckRAG с его использованием DuckDB предлагает инновационный и эффективный подход к реализации RAG-систем для индивидуальных пользователей.
Предварительное создание изолированных, актуализированных баз данных с эмбеддингами позволяет обрабатывать сложные запросы без нагрузки на основные производственные системы. Высокая скорость, безопасность и экономичность делают эту архитектуру перспективным решением для множества сфер, связанных с интеллектуальной обработкой данных и современными AI-сервисами. DuckRAG доказывает, что правильное сочетание новых технологий и продуманной архитектуры способно значительно повысить качество и надежность использования искусственного интеллекта в бизнесе и жизни.
