Файловая система Lustre давно зарекомендовала себя как мощное решение для высокопроизводительных вычислительных кластеров, задач искусственного интеллекта и масштабируемых суперкомпьютеров. Она обеспечивает параллельный доступ к данным, позволяя обрабатывать огромные объемы информации с максимальной скоростью. Несмотря на свои технические преимущества, Lustre долгое время оставалась вне основной части ядра Linux, развиваясь преимущественно вне его, что создавало множество проблем как для разработчиков, так и для пользователей. В последние годы ситуация начала меняться, и проект вступил в активную фазу подготовки к интеграции в основную ветку ядра. Этот процесс интересен не только с точки зрения технических аспектов, но и как пример того, как крупные проекты адаптируются к методологиям работы сообщества Linux и его политике развития.
История Lustre насчитывает более десяти лет, и многие эксперты сходятся на том, что её архитектура и принципы работы глубоко интегрированы в ядро именно из-за потребностей систем с большим количеством графических процессоров и высокопроизводительных узлов. На практике Lustre обеспечивает разбиение файлов на множество частей, которые могут храниться и обрабатываться на разных серверах параллельно, что значительно ускоряет распараллеливание вычислений и обмен данными между компонентами системы. Интересно, что и клиентская, и серверная части реализации работают в пространстве ядра операционной системы, сходно по модели с распространённым сетевым протоколом NFS. Первая попытка интеграции Lustre в staging-ветку ядра была предпринята в 2013 году, однако она потерпела неудачу, и в 2018 году проект был удалён из staging из-за ряда факторов. Одной из значимых причин стали несоответствия в модели разработки: основная работа велась вне ядра, в отдельном репозитории, при этом внутри staging не происходило активного развития.
Сложности также осложнялись разнообразием поддерживаемых версий ядра и необходимостью обеспечивать совместимость с ними, что приводило к громоздкому коду с многочисленными условными операторами и ветвлениями. Проект upstreaming Lustre возобновился благодаря усилиям ведущих разработчиков, таких как Нил Браун и Джеймс Симмонс, которые внесли более тысячи патчей, направленных на подготовку к основной ветке. Одной из ключевых задач стало разделение основного функционала и кода совместимости, отвечающего за поддержку старых версий ядра и клиентов. Это позволит ядру принимать компактный и чистый код, а при необходимости поддерживать бэкрады и фиксировать баги отдельными репозиториями, что соответствует принятым в сообществе методологиям. Отдельное внимание уделяется развитию процессов разработки.
В отличие от общего для Linux сообщества инструментария, Lustre традиционно использовала Gerrit для управления патчами, в то время как ядро активно оперирует с почтовыми рассылками. Для успешного upstreaming необходимо адаптироваться к процессам Linux-разработки, сочетая современные платформы с признанными коммуникационными каналами. Принятое правило — обязательная публикация патчей в рассылках перед объединением — позволит ядру лучше отслеживать и обсуждать внедряемый код. Споры вокруг целесообразности последовательной интеграции клиентской и серверной частей Lustre продолжаются. Многие считают, что начать следует с клиента, так как это менее масштабный и более стабильный компонент.
Однако специалисты, глубоко вовлечённые в разработку, высказывают мнение, что разделение на клиент и сервер чрезмерно усложнит процесс и может стать непреодолимым препятствием. Архитектура Lustre не предусматривает чётко разграниченных интерфейсов между этими частями, что усложняет их выделение в отдельные проекты. Некоторые аспекты сервера, связанные с файловой системой ext4, требуют рефакторинга и модернизации, поскольку влияют на сотрудничество с другими подсистемами ядра. Одной из уникальных особенностей Lustre является поддержка больших массивов данных и высокий уровень параллелизма, что делает её востребованной в сферах финансовых вычислений, научных исследований и машинного обучения. Современные тренды и актуальные потребности искусственного интеллекта подталкивают разработчиков к доработке и интеграции современных механизмов управления памятью, таких как folios и крупные фолио.
Это позволит эффективно использовать ресурсы и подготовиться к постепенному отказу от устаревающих API в ядре. Важной темой обсуждения является и вопрос производительности при использовании Lustre через FUSE — механизм файловых систем в пространстве пользователя. Несмотря на улучшения FUSE в последние годы, он всё ещё существенно уступает встроенным в ядро решениям по скорости и эффективности. Для Lustre, ориентированной на полный максимум пропускной способности оборудования, компромиссы в производительности неприемлемы. Создание версии на FUSE потребовало бы практически полной переработки сетевого стека и протоколов, поскольку текущая архитектура жестко завязана на собственные протоколы обмена между клиентом и сервером в ядре.
Важным моментом дальнейшего развития проекта является постановка чётких критериев и порядка принятия новых файловых систем в основное дерево ядра. Сообщество стремится избежать повторения негативного опыта прошлых «спонтанных» интеграций файловых систем, которые в дальнейшем создавали дополнительную нагрузку по сопровождению и могли привести к техническому долгу. В случае Lustre предлагается коллективный подход к оценке зрелости и готовности к слиянию, что повысит качество и долговечность поддержки кода. Исторически, среди пользователей Lustre существовало некоторое скептическое отношение к масштабируемости и управляемости системы, что частично было связано с ранними проблемами — например высокой задержкой при выполнении команд вроде ls на крупных кластерах. Однако современные реализации значительно минимизировали эти недостатки, внедрив механизмы кэширования, распределённых обработчиков метаданных и асинхронного чтения информации.
Кроме того, был реализован протокол statx(), позволяющий оптимизировать получение атрибутов файлов без дополнительных RPC. Перспективы Lustre тесно связаны с развитием HPC и ИИ приложений, где критически важна скорость доступа к огромным объемам данных. Вступление Lustre в ядро Linux позволит улучшить совместимость, упростить сопровождение и расширить аудиторию пользователей за счёт соответствия правилам сообщества. Это также создаст основу для дальнейших инноваций в области распределённых и параллельных файловых систем. Итогом многолетней работы и обсуждений является общее понимание необходимости комплексного подхода — модернизации архитектуры, адаптации методов разработки и тесного взаимодействия с ядром.
Для Lustre интеграция в Linux — это не просто технический шаг, но и переход к новому уровню зрелости проекта, готовности к вызовам современного программного обеспечения и мировому лидерству среди файловых систем для высокопроизводительных вычислений.
