В последнее десятилетие искусственный интеллект превратился из перспективной области исследований в неотъемлемую часть повседневной жизни и бизнеса. С каждым годом растут объемы неструктурированных данных — текстов, изображений, звуков — и задача эффективного хранения и поиска по ним становится все более актуальной. Именно для решения этой задачи была создана Milvus — векторная база данных, построенная с нуля, чтобы открыть новую главу в управлении и анализе больших данных для ИИ. Появление Milvus стало ответом на вызов, с которым столкнулись разработчики и предприниматели, пытавшиеся выполнять семантический поиск с помощью традиционных баз данных. Классические СУБД были ориентированы на табличные данные, что делало их применение для хранения и быстрого поиска по векторам, описывающим сложные объекты и связи, практически невозможным.
Использование таких инструментов как Elasticsearch или FAISS приносило обрывочные успехи, но чаще всего либо страдала производительность, либо масштабируемость, либо удобство работы. Команда Zilliz, стоящая за разработкой Milvus, начала работу над проектом еще в 2017 году, когда идея создания специализированной базы данных для векторных данных только возникала. Они ясно видели: для успешной реализации задач ИИ необходима база с архитектурой, рассчитанной на огромные объемы многомерных векторов, поддержкой горизонтального масштабирования и простотой интеграции с современными AI-инструментами. Ранние этапы разработки носили исследовательский характер. Команда экспериментировала с разными алгоритмами индексирования, технологиями хранения и оптимизации запросов.
В 2018 году термин «векторная база данных» еще не был широко известен, и фактически Milvus создавалась как совершенно новая категория программного обеспечения, объединяющая database и AI-решения. Решение открыть исходный код Milvus в конце 2019 года стало важным шагом. Этот выбор дал возможность сообществу разработчиков по всему миру не только использовать продукт, но и активно участвовать в его совершенствовании. Появились новые идеи, баги выявлялись и исправлялись своевременно, а поддержка множества интеграций делала Milvus гибкой и адаптивной системой. Присоединение к LF AI & Data Foundation в 2020 году дало проекту дополнительные ресурсы и опыт в управлении открытым софтом, что позволило выстроить стабильный жизненный цикл продукта и право на долгосрочную поддержку.
Выход Milvus 1.0 в 2021 году стал знаковым событием — впервые база была признана зрелой для промышленного применения, и победа в масштабном конкурсе BigANN подтвердила её эффективность на практике. Несмотря на успех, команда Zilliz понимала, что архитектура первой версии уже ограничена в возможностях. Запросы корпоративных клиентов требовали не просто мощной обработки, а облачной масштабируемости, простоты администрирования и устойчивости при экстремальных нагрузках. Пришлось пойти на непростое решение поставить работу проекта на новую платформу и создать Milvus 2.
0 — полностью переписанный с нуля продукт с разделением вычислительной и хранилищной частей системы. Процесс разработки Milvus 2.0 занял два года и стал серьезным испытанием для команды. С технической точки зрения пришлось отказаться от проверенной системы и инвестировать массу сил в построение новой, не имеющей прецедентов архитектуры. Но результат превзошел ожидания: новая версия обеспечила масштабируемость до десятков миллиардов векторов и десятков тысяч одновременных запросов, при этом сохранив высокую производительность и низкую латентность.
Рост популярности технологий AI в 2023 году, в первую очередь благодаря распространению Retrieval-Augmented Generation (RAG), значительно расширил аудиторию Milvus. Всё больше разработчиков и компаний впервые сталкивались с необходимостью семантического поиска и работы с векторными данными в реальном времени. Это привело к бурному росту активности проекта, включая количество звезд на GitHub, запросов на поддержку и образовательных запросов. Чтобы справиться с увеличившимся спросом, Zilliz вложила ресурсы в развитие сообщества и модернизацию документации. Были привлечены специалисты по технической пропаганде, создано обширное обучающее содержание, что позволило новичкам быстро погружаться в технологию.
Одним из важнейших шагов стал запуск Zilliz Cloud — полностью управляемого сервиса на базе Milvus. Часто вендоры открытого ПО сталкиваются с выбором между поддержкой бесплатного продукта и разработкой коммерческого решения. В случае Zilliz ответом стало предложение облачной платформы, которая снимает с клиентов нагрузку по администрированию, настройке и масштабированию, при этом сохраняя полностью открытый характер ядра базы. Zilliz Cloud выделяется высокой производительностью благодаря применению AI-оптимизированного движка AutoIndex, обеспечивающего в несколько раз более быстрый поиск без необходимости ручного тюнинга. Архитектура сервиса масштабируется по всему миру, поддерживая десятки миллиардов векторов и высокую параллельность запросов.
Безопасность и соответствие современным стандартам — важный элемент платформы, дополняющий ее привлекательность для крупнейших организаций. Кроме того, платформа предлагает гибкую модель оплаты, что позволяет значительно снижать расходы по сравнению с самостоятельными развертываниями. Отсутствие зависимости от одного облачного провайдера обеспечивает удобство для клиентов с многооблачной стратегией. Milvus широко используется в самых разных отраслях. Например, компания Bosch смогла снизить расходы на сбор данных на 80%, одновременно ускорив поиск критических сценариев в миллиардах записей — это позволило значительно повысить безопасность и эффективность своих автономных систем.
Read AI, крупный игрок в области AI-приложений для продуктивности, достиг первых позиций по скорости и масштабируемости поиска. Финансовые организации используют Milvus для работы с триллионами транзакций, сокращая время обработки в 5-10 раз. В юридическом секторе юристы экономят до 80% времени благодаря быстрому доступу к миллиардам документов. Основываясь на опыте эксплуатации и анализа, команда Zilliz продолжает развивать инфраструктуру, недавно анонсировав следующий этап — Vector Data Lake. Эта технология призвана эффективно обрабатывать массивы редко запрашиваемых векторов в больших объемах, снижая затраты и упрощая работу с историческими и аналитическими данными.
Vector Data Lake сочетает возможности онлайнового и оффлайнового хранения с поддержкой привычных платформ для анализа, что делает её незаменимым инструментом для комплексной работы с векторными данными в крупных предприятиях. История Milvus — это больше, чем история создания продукта. Это пример того, как внимательное отношение к сообществу, устойчивое развитие и стремление идти на риск ради инноваций меняют ландшафт индустрии. С 2017 года Milvus превратился из идеи в масштабную экосистему с тысячами пользователей и крупнейшими технологическими партнерами. Если вы только начинаете путь знакомства с векторными базами данных или уже являетесь активным пользователем Milvus, сейчас самое время стать частью одно из самых динамично развивающихся сообществ в сфере технологий искусственного интеллекта.
Команда Zilliz открыта к сотрудничеству, поддержке и совместному развитию будущих решений, которые будут формировать новое поколение интеллектуальных систем. Milvus сегодня — это не просто инструмент. Это инфраструктура, которая меняет правила игры и помогает создавать AI-приложения, способные решать задачи, ранее казавшиеся невозможными. В условиях стремительного развития искусственного интеллекта фокус на удобство, масштабируемость и производительность становится ключом к успеху, а Milvus продолжает идти в авангарде этой революции.
![Coffee Berry anomaly detection using colour and shape separation via L-systems [pdf]](/images/D8341EF1-6192-4743-8692-FA209656C3E2)
