Современный мир компьютерных технологий активно развивается в направлении использования искусственного интеллекта и машинного обучения. Одной из ключевых областей становится работа с большими языковыми моделями — LLM (Large Language Models), которые требуют значительного объема вычислительных ресурсов для обучения и применения. В связи с этим появляется необходимость в поиске эффективных и доступных решений для запуска LLM, особенно с прицелом на открытое программное обеспечение и универсальные стандарты. Одним из таких решений является использование графического API Vulkan, который все больше привлекает внимание разработчиков, стремящихся снизить уровень сложности и повысить эффективность вычислений при работе с нейросетями на различных GPU. Vulkan — это кроссплатформенный и низкоуровневый графический и вычислительный API, поддерживаемый многими производителями видеокарт и многочисленными драйверами, включая открытые реализации.
В отличие от традиционных технологий, таких как CUDA или ROCm, которые ориентированы либо на проприетарное программное обеспечение Nvidia и AMD, либо имеют значительную сложность и зависимость от ПО конкретных производителей, Vulkan предлагает более универсальный и открытый подход. Однако использование Vulkan в задачах, связанных с LLM, пока нельзя назвать распространенным или полностью освоенным. Основной вызов связан с тем, что Vulkan, сконструированный как графический API, изначально не ориентирован на вычислительные задачи машинного обучения, и работа с ним требует значительных усилий по оптимизации и реализации расширений, которые способны эффективно обрабатывать матричные операции и другие базовые элементы, необходимые для инференса и тренировки языковых моделей. Открытые драйверы Vulkan, такие как AMD RADV и NVK для Nvidia, находятся на пути активного развития и внедрения новых возможностей, в частности поддерживают расширения типа VK_KHR_cooperative_matrix и VK_NV_cooperative_matrix2. Эти расширения позволяют более эффективно использовать аппаратные возможности GPU, особенно в части матричных умножений, что значимо для обработки LLM.
Тем не менее, существует еще много работы по тому, чтобы догнать проприетарные решения с их обширной поддержкой и оптимизациями. Важным моментом является сравнение общей производительности и стабильности работы LLM на базах Vulkan с классическими и дольше использующимися стеками CUDA, ROCm и Intel oneAPI. По данным экспериментов на различных системах, таких как Ryzen с видеокартами RTX 5080, RTX 6000 Ada, Intel A770 и AMD RX7900XT, Vulkan на открытых драйверах начинает показывать весьма убедительные результаты в ряде рабочих сценариев, особенно в части генерации токенов или обработки запросов на основе матричных умножений. Однако есть разница в характере нагрузки: генерация токенов предполагает более частую синхронизацию, а обработка первоначального запроса — интенсивные матричные вычисления. Именно в этих вычислительных аспектах Vulkan с расширениями coopmat2 и другими оптимизациями постепенно сокращает отставание от специализированных решений CUDA, которые пока выигрывают преимущественно благодаря таким технологиям, как CUDA graphs и плотной операционной фузии.
Сообщество открытого ПО демонстрирует активное движение в направлении упрощения и деблокирования сложных вычислительных стеков для LLM. Одним интересным проектом является llama.cpp и его обертки, позволяющие работать с местными крупными моделями в условиях минимальной зависимости от обширных Python-экосистем и громоздких контейнеров. Такие проекты нацелены на демократизацию доступа к технологиям, давая возможность использовать LLM на более широкой базе оборудования и с меньшей тщательной настройкой. Интересен и опыт интеграции Vulkan в эти проекты, где оптимизации и поддержку новых расширений Vulkan можно рассматривать как перспективный путь снижения сложности и повышения устойчивости системы.
Вместо использования проприетарных и сложных стэков, таких как CUDA или Scarlet решений AMD, общедоступные решения на Vulkan предлагают более прозрачный и гибкий механизм работы с GPU. Возникает и вопрос поддержки со стороны производителей. В то время как Nvidia активно задействует Vulkan в своих драйверах, одновременно разрабатывается открытый драйвер NVK, который призван устранить разрыв в функциональности и производительности между проприетарным программным обеспечением и открытыми инициативами. Работа продолжается над добавлением таких функций, как VK_NV_cooperative_matrix2, что должно значительно увеличить эффективность. Не менее перспективным направлением можно назвать открытый драйвер AMD RADV, который уже показывает превосходство над ROCm в некоторых сценариях интерактивного тестирования генерации токенов и обработки запросов.
Если поддержка coopmat2 и других расширений будет усилена, это позволит значительно упростить получение оптимальных результатов в задачах машинного обучения без привлечения громоздких программных стеков. Intel, со своей стороны, находится на другом этапе развития. SYCL как высокоуровневый язык для параллельных вычислений имеет собственные преимущества и недостатки. В текущих тестах производительность на базе SYCL уступала аналогам Vulkan, однако разработчики рассчитывают на улучшение с выходом новых версий драйверов и аппаратных решений. В контексте производительности важно отметить, что программные трюки и оптимизации на уровне фреймворков LLM также играют ключевую роль.
В частности, операции слияния и оптимизация графов вычислений существенно влияют на итоговую скорость инференса. Таким образом, задачи по повышению эффективности Vulkan-решений идут параллельно с развитием самого llama.cpp и похожих инструментов, что позволяет погружаться в глубокую оптимизацию без потери простоты установки и запуска моделей. В конечном счете, работы по бенчмаркингу и тестированию LLM на Vulkan с открытыми драйверами открывают новые горизонты для энтузиастов и профессионалов. Это направление может стать фактором, снижающим барьер доступа к AI-технологиям, облегчая запуск и внедрение сложных языковых моделей на большом ассортименте устройств, не зависящих от закрытых проприетарных решений.
Познание потенциала Vulkan в машинном обучении — это не только вопрос производительности, но и философия открытости, совместимости и экологичности вычислительных стэков. В будущем, по мере появления новых функций и улучшения драйверов, Vulkan сможет стать связующим звеном между разнообразным аппаратным обеспечением и потребностями инновационных AI-приложений. Таким образом, открытая графическая экосистема на базе Vulkan демонстрирует значительный прогресс и готовность к применению в реальных проектах с LLM. С активным движением в сторону оптимизаций и поддержки ключевых расширений, а также интеграцией с современными инструментами машинного обучения, она предлагает менее сложную и более универсальную платформу для развития искусственного интеллекта на массовом уровне.
