AWS внедряет векторные корзины в S3 для снижения затрат на хранение данных RAG

Биткойн Альткойны

Современный мир искусственного интеллекта стремительно развивается, поднимая на новый уровень возможности обработки и анализа данных. Среди инноваций в этой области особое внимание уделяется технологиям Retrieval-Augmented Generation (RAG), которые помогают интегрировать внешние источники знаний с крупными языковыми моделями (LLM), расширяя их контекст и улучшая качество генерируемых ответов. Важной составляющей эффективной работы RAG является хранение и быстрый доступ к векторам — числовым представлениям больших массивов неструктурированной информации. В этом направлении недавно сделан значительный шаг компанией Amazon Web Services (AWS), которая объявила о запуске векторных корзин в Amazon S3, призванных снизить издержки и повысить эффективность работы с векторами. Amazon S3 долгое время считается надежным и масштабируемым решением для хранения самых разнообразных данных, от простых файлов до сложных объектов.

Однако новые задачи, связанные с искусственным интеллектом, предъявляют особые требования к хранению специализированных данных — в частности, векторов, представляющих собой многомерные числовые массивы. Их хранение и запросы к ним в больших объемах требуют значительных ресурсов, особенно если обращение к данным происходит нерегулярно, что характерно для ряда приложений RAG. AWS решила эту проблему с помощью векторных корзин в S3 — особого типа бакетов, оборудованных специализированными API для хранения, доступа и поиска векторных данных. Ключевая идея состоит в том, чтобы разделить векторы на две категории: горячие, к которым необходим частый и быстрый доступ, и холодные, к которым обращаются редко. Холодные векторы могут храниться в S3, что значительно дешевле, чем содержать их в базе данных с постоянным выделением вычислительных ресурсов.

Это нововведение позволяет снизить затраты на хранение данных для компаний, использующих OpenSearch Service от AWS, которая уже поддерживает работу с векторами, но при этом требует значительных ресурсов для поддержки постоянной обработки и хранения таких данных. Перенос векторов с низкой активностью запросов в S3 векторные корзины дает возможность снизить расходы на вычислительные инстансы и операции ввода-вывода. Согласно заявлению Чанни Юна, ведущего рекламного специалиста AWS, внедрение Amazon S3 Vectors способно сократить суммарные затраты на загрузку, хранение и запросы векторов до 90%. Это достигается за счет высокой масштабируемости и оптимизации хранения в самой S3, а также интеграции с рядом сервисов для упрощения доступа и управления векторными данными. Особенностью новых векторных бакетов является поддержка написания и хранения не только самих векторов, но и их индексов.

Каждый бакет способен содержать до 10 000 индексных наборов, а каждый индекс — десятки миллионов векторов. Это позволяет с максимальной точностью и скоростью производить поисковые операции, фильтрацию и обновление данных. Важным фактором повышения удобства и производительности стало возможность прикрепления метаданных в формате ключ-значение к каждому вектору. Это дает разработчикам возможность создавать сложные фильтры на основе времени создания, категорий или предпочтений пользователей, что сокращает время на выбор и анализ нужных данных. Amazon S3 Vectors вписаны в экосистему AWS и интегрированы с такими сервисами, как Amazon Bedrock Knowledge Bases и Amazon SageMaker Unified Studio, что облегчает создание приложений на базе RAG.

При настройке базы знаний в Bedrock можно выбрать векторные корзины как целевое хранилище для векторов, что значительно упрощает разработку гибких решений с большим числом данных. Еще один важный аспект – возможность перемещения данных между S3 и OpenSearch Service. Холодные вектора, которые хранятся в S3, при повышении спроса можно оперативно переместить в OpenSearch для реализации быстрого и низколатентного поиска. Такой подход обеспечивает баланс между стоимостью и производительностью, что особенно ценно для проектов с переменным уровнем нагрузки. AWS подчеркивает, что векторные корзины позволяют платить за хранение постоянно, а оплату за вычислительные запросы - только тогда, когда происходит взаимодействие с данными.

Аналитика AWS показывает, что для большинства клиентов интенсивный доступ к векторам необходим не всегда, поэтому необходимость постоянно выделять ресурсы и инстансы отпадает. К примеру, традиционная работа с десятимиллионным набором векторов на выделенном инстансе r7g.2xlarge обходится в более чем 300 долларов в месяц, а хранение в S3 с ежемесячной активностью около 250 тысяч запросов – всего около 30 долларов. Эта экономия делает технологии векторных хранилищ намного более доступными, снижая барьеры для масштабирования и внедрения решений RAG. Отдельно стоит отметить, что AWS не единственная компания, которая движется в сторону векторного хранения объектов.

Например, Cloudian недавно добавила поддержку векторных баз данных в свою объектную систему HyperStore с использованием Milvus, что свидетельствует о росте значимости этой технологии на рынке облачного и локального хранения данных. На данный момент Amazon S3 Vectors доступны в регионе США (Северная Вирджиния), США (Огайо), США (Орегон), Азиатско-Тихоокеанском регионе (Сидней) и Европе (Франкфурт). AWS активно расширяет поддержку и возможности этого сервиса, делая его частью своей стратегии по поддержке ИИ и машинного обучения. Таким образом, появление векторных корзин в Amazon S3 — это значительный шаг в развитии инфраструктуры для искусственного интеллекта, который позволит компаниям экономить средства и эффективно работать с огромными массивами данных неструктурированного типа. Интеграция с экосистемой AWS и гибкая модель ценообразования создают новые возможности для разработчиков и бизнеса, стремящихся создавать продвинутые интеллектуальные приложения и сервисы.

Перспективы развития векторного хранения в облаке сразу видятся многообещающими, и AWS с ее масштабом и технологической экспертизой занимает в этом процессе одну из ведущих позиций. Для всех, кто работает с генеративным ИИ, аналитикой и технологическими инновациями, новый сервис — это удобное и экономичное решение сложных задач обработки векторных данных.