Компиляция крупных языковых моделей в мегаядро: путь к низкой задержке вывода

Крипто-кошельки

Современная область искусственного интеллекта и обработки естественного языка стремительно развивается благодаря масштабным языковым моделям (LLM), таким как GPT и их многочисленным аналогам. Эти модели способны выполнять сложные задачи — от генерации текстов до интерактивного диалога и творческого письма. Однако для эффективного использования таких моделей критически важно обеспечить высокую производительность при низкой задержке вывода, особенно в операциях в реальном времени. В последние годы значительный прогресс в снижении задержек вывода LLM обеспечивает компиляция моделей в единый мегаядро — высокопроизводительный объединённый GPU-ядро, объединяющее все вычисления и коммуникации в одном запуске. Этот метод кардинально меняет парадигму и открывает новую эру оптимизации работы моделей на основе больших данных.

Традиционный подход к инференсу крупных языковых моделей обычно строится на последовательных вызовах множества GPU-ядр, где каждая операция или блок вычислений выполняется отдельным ядром с последующими синхронизациями и передачей данных. Несмотря на гибкость и универсальность такого способа, он оказывается ограниченным из-за высоких накладных расходов на запуск каждого ядра, а также неэффективности распределения ресурсов и невозможности одновременного исполнения вычислений и межпроцессорного обмена данными. Как результат, аппаратные мощности оказываются не полностью использованы, а общая задержка вывода возрастает, что особенно критично для приложений с высокими требованиями к скорости, таких как чат-боты и системы поддержки принятия решений в реальном времени. Концепция мегаядра состоит в компиляции всех необходимых операций для инференса модели — вычислительных и коммуникационных — в единый, крупный GPU-ядро. Вместо запуска серии разрозненных задач с многочисленными переключениями контекста и накладными расходами, мегаядро запускается однократно и непрерывно выполняет все вычисления и взаимодействия между GPU до окончания обработки запроса.

Такой подход обеспечивает несколько важных преимуществ. Во-первых, практически полностью устраняется задержка, связанная с запуском отдельных ядер. Во-вторых, появляется возможность тонкой программной конвейеризации, то есть организации вычислений таким образом, чтобы загрузка данных и выполнение операций разных слоев модели происходили параллельно. В-третьих, достигается перекрытие вычислительной нагрузки с коммуникациями между несколькими GPU, что позволяет скрыть сетевые задержки и эффективно использовать пропускную способность систем связи. Однако создание мегаядра для крупной языковой модели — задача технически сложная.

Современные ML-фреймворки, такие как PyTorch, TensorFlow или TVM, не предоставляют инструментов для автоматической генерации единого мегаядра, поскольку их архитектуры ориентированы на выполнение отдельных операторов с самостоятельными ядрами. Кроме того, для эффективности современные LLM-системы используют широкий спектр специализированных библиотек: NCCL или NVSHMEM для высокопроизводительной коммуникации, FlashAttention или FlashInfer для оптимизации механизмов внимания, CUDA и Triton для кастомных вычислительных ядер. Такая раздробленность создаёт уникальные сложности в объединении всей цепочки вычислений и обмена данных в единое ядро. Чтобы решить эти проблемы, международная команда исследователей из Carnegie Mellon University, University of Washington, Berkeley, NVIDIA и Tsinghua разработала Mirage Persistent Kernel (MPK) — специализированный компилятор и рантайм, которые автоматически преобразуют инференс LLM с множеством GPU в единственный мегаядро. MPK позволяет добиться максимально низкой задержки вывода, эффективно используя весь потенциал аппаратуры GPU, при этом упрощая процесс оптимизации, так как требует минимального ручного вмешательства от разработчиков — компиляция занимает всего несколько десятков строк Python-кода.

Основой работы MPK является трансформация исходного вычислительного графа модели в детальный операционный граф, где каждая задача становится единицей вычисления или коммуникации, которая может быть выполнена независимо на одном вычислительном блоке GPU — Streaming Multiprocessor (SM). Такой подход раскрывает максимально возможный уровень параллелизма и позволяет строить конвейеры не только по слоям модели, но и внутри отдельных вычислительных операций. В отличие от традиционных систем, где синхронизация происходит по завершении всего ядра, MPK позволяет связывать задачи по более мелким фрагментам данных, что способствует перекрытию матричных вычислений с передачей частей данных для следующего этапа обработки. Такой тонкий уровень детализации перевода в задание существенно повышает степень сжатия вычислений, сокращая время ожидания и обеспечивая более эффективное распределение нагрузки. Рантайм MPK эксплуатирует концепцию статического разбиения всех GPU SM на две категории: работники и планировщики.

Работники выполняют вычисления и управления задачами из своей очереди с минимальной задержкой, а планировщики ответственны за управление зависимостями и активацией задач на основе событий, возникающих после завершения заданий. Такой распределённый механизм планирования снижает накладные расходы на синхронизацию и позволяет динамически запускать цепочки задач, что особенно важно при параллельном выполнении операций нескольких слоёв модели и коммуникаций между GPU. Все это происходит в одном контексте ядра, что обеспечивает микросекундный уровень задержек перехода между задачами и высокий уровень эффективности. Наглядные эксперименты на системах с NVIDIA A100 продемонстрировали, что MPK снижает задержку вывода на каждый токен с 14.5 миллисекунд, демонстрируемых некоторыми из самых оптимизированных существующих систем, до 12.

5 миллисекунд. При этом теоретический предел производительности равен примерно 10 миллисекундам, связанный с ограничениями пропускной способности памяти и объёмом модели. Лучше всего MPK проявляет себя в многогранных системах с несколькими GPU, где благодаря объединению вычислений и коммуникаций в единое мегаядро появляется заметный выигрыш по сравнению с традиционными системами из-за максимального перекрытия и устранения накладных расходов на запуск. Это особенно важно для промышленных решений, где масштабирование по количеству GPU требует сохранения низкой латентности. В дальнейшем разработчики MPK планируют расширить поддержку новых архитектур GPU, например, NVIDIA Blackwell, учитывая особенности инновационных оптимизаций, таких как специализация варпов, а также работать над динамическими сценариями загрузки моделей, включая поддержку моделей с динамическим контролем потока выполнения, таких как mixture-of-experts (MoE).

Кроме того, перспективным является внедрение продвинутых стратегий планирования для повышения производительности в системах с близкими к реальному времени требованиями и возможностью гибкой балансировки между приоритетами латентности и пропускной способности. Перспективы технологии мегаядра открывают новое видение того, как будущие LLM будут выполняться на современных вычислительных инфраструктурах. Объединение всех этапов вычисления и коммуникаций в собственное ядро позволяет не только снизить задержки и повысить производительность, но и улучшить использование ресурсов, создавая предпосылки для дальнейшего развития искусственного интеллекта и его интеграции в самые разнообразные приложения. Проект MPK является примером того, как инновационный системный подход и компиляционные технологии могут значительно трансформировать ландшафт ML-инфраструктуры и задать новую планку для реализации высокопроизводительных AI-систем. Для заинтересованных разработчиков и исследователей доступен открытый исходный код MPK с подробной документацией, что способствует развитию сообщества и совместному совершенствованию технологий с акцентом на практическую применимость и масштабируемость.

Таким образом, мегаядро-компиляция становится ключом к следующему шагу в эволюции языковых моделей — обеспечению скорости, необходимой для широкого внедрения AI в повседневные задачи.