В современном мире цифровых технологий объемы данных растут стремительными темпами, и перед разработчиками и предприятиями все чаще встает задача эффективного хранения и быстрого доступа к этим массивам информации. Традиционные решения, такие как локальные диски или стандартные облачные сервисы, зачастую не могут предложить сочетание надежности, масштабируемости и производительности. В ответ на эти вызовы компания Archil разработала уникальный продукт - локальные диски с поддержкой Amazon S3, которые можно подключить всего в один клик. Это решение обещает изменить подход к хранению данных и предоставлению к ним доступа, особенно для облачных и гибридных вычислительных сред. Archil возникла из опыта работы в индустрии хранения данных, в том числе из проектов Amazon Elastic File System и инфраструктуры Netflix.
Основатель компании, Хантер, столкнулся с ограничениями существующих вариантов и решил создать масштабируемое, простое в использовании и производительное хранилище, способное поддержать современные рабочие нагрузки. В отличие от традиционных систем сетевых файловых систем (NFS), испытывающих значительное падение производительности при совместном использовании данных, Archil представляет собой распределенную систему, создающую ощущение локального диска, при этом синхронизируя данные с объектным хранилищем, таким как Amazon S3. Основой технологии Archil стала полностью собственная, разработанная с нуля протокольная система, позволяющая обеспечивать локальную производительность с задержкой порядка миллисекунды при обращении к горячим данным. Архитектура решения предусматривает использование кэширующего слоя, размещенного на NVMe-устройствах в управляемом кластере, который снабжает инстансы быстрым доступом к информации и выполняет запись данных обратно в S3 ненавязчиво и надежно. Такая система обеспечивает сохранность информации даже при сбоях отдельных компонентов - кэш обладает высокой степенью надежности и репликации, что минимизирует риск потери данных.
Одним из ключевых преимуществ Archil является его способность масштабироваться практически неограниченно, подстраиваясь под нужды приложения. Пользователю не требуется заранее выделять емкость или предугадывать объемы использования, поскольку диск динамически растет и синхронизируется с источником данных. При этом пользователям начисляется плата только за объем данных, находящихся в активном кэше, что делает использование экономически выгодным, особенно для приложений с переменными нагрузками. Особое внимание было уделено интеграции Archil с современными инструментами разработчиков и инфраструктурой. Наличие CSI-драйвера позволяет без труда подключать решения к Kubernetes кластерам, обеспечивая поддержку как одиночных, так и многоузловых томов с возможностью совместного доступа.
Такая интеграция особенно важна для построения современных CI/CD пайплайнов, обработки больших объемов данных, разработки AI-решений и других сценариев, требующих высокой скорости и надежности доступа к файловой системе. Archil отличается от существующих систем, которые используют методы монтирования S3 как файловой системы. Многие аналоги не поддерживают полноценный POSIX-интерфейс или не позволяют работать напрямую с нативным форматом данных в S3, что порой ограничивает их значения для продвинутых приложений и усложняет доступ к данным из других сервисов. В противоположность этому, Archil сохраняет данные в оригинальном формате объекта, обеспечивая при этом поддержку традиционных протоколов и высокую производительность, что позволяет максимально эффективно использовать уже имеющиеся ресурсы и данные. Платформа охватывает несколько регионов, включая основные зоны AWS и Google Cloud Platform, а также может быть развернута на локальных инфраструктурах и специализированных облаках с поддержкой GPU.
Такая гибкость позволяет охватить широкий спектр сценариев применения - от анализа спутниковых изображений и серверных ноутбуков для исследования данных до выполнения высокопроизводительных вычислений искусственного интеллекта и создания безопасных изолированных сред для разработчиков. Важной особенностью Archil является ориентированность на надежность и безопасность данных. Используемая распределенная и высокодоступная кэш-система с показателем надежности уровня "пять девяток" (99.999%) гарантирует сохранность информации даже при отказе отдельных узлов или зон доступности. Это критически важно для организаций, работающих с корпоративными, научными и финансовыми данными, где потеря информации недопустима.
Archil также предлагает адаптивные возможности по масштабированию пропускной способности и IOPS, что позволяет достигать гигабайты в секунду скорости передачи данных и десятки тысяч операций ввода-вывода в секунду. Несмотря на высокие характеристики, система не требует долгой настройки и сложных операций, что значительно упрощает работу для DevOps и инженерных команд. В будущем Archil планирует расширять функциональность: предусмотрено добавление масштабируемой Lustre-подобной производительности, которая позволит достигать сотен гигабайт в секунду и миллионов IOPS без дополнительного провиженинга. Также в планах - поддержка синхронизации с источниками данных, не ограниченными объектным хранилищем, например HuggingFace, и возможность интеграции нескольких источников на одном диске, что расширит возможности для многокомпонентных приложений и гибридных сред хранения. В целом, Archil представляет собой современное и продвинутое решение, отвечающее главным требованиям рынка хранения данных - эффективности, надежности, масштабируемости и простоте использования.
Благодаря своей инновационной архитектуре и интеграционным возможностям платформа открывает новые горизонты для разработчиков и инженеров, позволяя создавать и эксплуатировать решения с огромными объемами данных без компромиссов по качеству и производительности. Для тех, кто заинтересован в качественном и масштабируемом хранении данных с минимальными трудозатратами, Archil предлагает попробовать платформу бесплатно, подключившись всего одним кликом, а также познакомиться с подробной документацией. Сегодня решение уже используется в продвинутых проектах по обработке данных и развитии искусственного интеллекта, и его потенциал продолжает расширяться, что делает его перспективным инструментом для компаний всех размеров и направлений. Таким образом, Archil становится важным элементом в экосистеме современных облачных технологий и инфраструктуры, предлагая надежные и производительные локальные диски, интегрированные с объектным хранилищем, что отличает его от традиционных решений и открывает новые возможности для работы с большими данными. .
