Запуск BEVFormer на платформе SiFive RISC-V Intelligence XM: прорыв в автомобильном ИИ

Новости криптобиржи Продажи токенов ICO

В последние годы тема автономных транспортных средств приобрела невероятную популярность и стала одним из ключевых направлений развития искусственного интеллекта. Одной из важных составляющих этой технологии является компьютерное зрение и обработка данных с множества автомобильных датчиков. В этом контексте крупный прогресс демонстрирует модель BEVFormer — трансформер на основе обзора с птицей сверху (Bird’s Eye View), позволяющий создавать точные трехмерные представления окружающей среды автомобиля. Недавно команда SiFive достигла значительного технического успеха, успешно запустив модель BEVFormer на своей ранней платформе Intelligence XM с архитектурой RISC-V. Этот прорыв демонстрирует не только возможности модели, но и потенциал открытых аппаратных стандартов для решения сложных задач в области автономного вождения.

  BEVFormer представлен публике в 2022 году и с тех пор завоевал статус проверенного инструмента для восприятия сцены вокруг автомобиля. Он обрабатывает данные сразу с шести камер с разрешением 900 на 1600 пикселей, трансформируя их в единое представление сибирским обработчиком размером 200 на 200 пикселей с видом сверху. Такой двусторонний вид позволяет эффективно обнаруживать трехмерные объекты, анализировать пространственные связи между ними и интегрировать информацию из нескольких временных кадров, обеспечивая качественный контекст для решений систем автономного вождения. Сложность модели заключается во множестве компонентов: сверточных слоях, усовершенствованных механизмах внимания, а также выполнения различных скалярных операций, требующих значительных вычислительных ресурсов и высокой пропускной способности.  На фоне этого запуска особый интерес вызывает аппаратная платформа SiFive Intelligence XM, базирующаяся на открытой архитектуре RISC-V.

Традиционные процессоры для автомобильных ИИ зачастую не способны обеспечить необходимую гибкость и возможность глубокой оптимизации под специфические задачи. Примером тому служат закрытые архитектуры с ограниченным доступом к микрокоду или низкоуровневому программированию. RISC-V, напротив, — открытый стандарт с набором инструкций, который позволяет создаваь максимально адаптированные под потребности конкретного рынка процессоры. Это особенно важно в автомобильной отрасли, где высоки требования к энергопотреблению, безопасности и длительности службы оборудования.  Платформа SiFive Intelligence XM, доступная на ранних этапах, несет в себе несколько аппаратных инноваций.

В её основе лежит четырехъядерный процессор с ядрами серии X, каждое оснащено 1024-битным векторным блоком RISC-V и специализированным Матричным Движком для эффективных матричных операций. Архитектура плотно интегрирована, что сводит к минимуму задержки в обработке и исключает необходимость переключаться между разнородными вычислительными модулями. Эта особенность позволила без проблем выполнять всю цепочку вычислений BEVFormer — от сверток и сложных механизмов внимания до базовых скалярных операций — в рамках единого бинарного файла. Такой подход заметно ускоряет разработку и повышает общую производительность системы.  Несмотря на очевидные преимущества, реализация модели на ранней версии IP с архитектурой RISC-V требовала преодоления многочисленных технических трудностей и инженерных вызовов.

Компания SiFive и партнёры активно применили референсный программный стэк AI/ML, построенный на базе IREE — современного инструмента компиляции и исполнения ИИ моделей. Главным шагом стала конвертация модели BEVFormer из PyTorch (версии 1.9.1) в ONNX, с дальнейшим преобразованием в MLIR с помощью iree-import-onnx. Этот процесс позволил адаптировать модель для оптимальной работы на RISC-V.

Важным аспектом стала поддержка кастомных операторов, таких как Modulated_Deform_Conv2D и Multi_Scale_Deformable_Attention, реализованных в виде высокоэффективных микрокernel, использующих возможности векторных инструкций RVV. Это значительно увеличило скорость обработки, сохранив при этом точность модели.  Особого внимания заслуживает этап портирования вычислительных ядров CUDA, изначально ориентированных на архитектуры NVIDIA, в переносимый код на C/C++ с использованием возможностей RISC-V Vector Extension. Поддержка со стороны больших языковых моделей ускорила этот процесс и снизила затраты труда разработчиков. Матрица операций была дополнительно оптимизирована с помощью IREE mmt4d для эффективного использования Матричного Движка SiFive, что существенно улучшило аппаратное ускорение основных вычислительных операций.

  Для проверки надежности и корректности работы модели команда проводила тестирование с использованием набора данных nuScenes в эмуляторе QEMU, имитирующем работу платформы XM. Тесты подтвердили сохранение точности по сравнению с эталонной реализацией в PyTorch, а визуализация результатов продемонстрировала высокую точность и стабильность формирования представлений с видом сверху. Это убедительно свидетельствует о зрелости и перспективности аппаратного решения, несмотря на статус раннего доступа.  Данный проект можно назвать важным этапом в развитии архитектуры RISC-V в сегменте автомобильного ИИ. Он служит не столько демонстрацией инновационности самой модели BEVFormer, сколько подтверждением способности платформы SiFive Intelligence XM эффективно решать сложные задачи компьютерного зрения и глубинного обучения в едином вычислительном пространстве.

Это открывает новые возможности для разработчиков и компаний, ориентированных на создание кастомизированных процессоров и аппаратных ускорителей с открытыми стандартами для отрасли с высоким уровнем требований.  Одновременно с этим SiFive предоставляет референсный набор программных средств на основе открытых исходных технологий, который позволяет экспериментировать и адаптировать новые модели искусственного интеллекта под архитектуру RISC-V. Это стимулирует инновации и развитие сообщества разработчиков и исследователей в сфере машинного обучения. Несмотря на факт, что платформа находится на ранних стадиях, команда продолжает активно работать над оптимизацией выполнения и совершенствованием генерации кода, что означает, что производительность будет только расти.  На сегодняшний день видно, что архитектура RISC-V и решения SiFive становятся не просто альтернативой традиционным проприетарным процессорам, а полноценным инструментом следующего поколения для создания масштабируемых, мощных и при этом гибких аппаратных систем в автомобильном ИИ.

Этот проект демонстрирует, что открытые стандарты могут существенно изменить ландшафт индустрии, предлагая высокую адаптивность, снижение издержек и усиленную поддержку инновационных алгоритмов.  Для заинтересованных специалистов SiFive предлагает детальное ознакомление с технической документацией и исходным кодом модели BEVFormer, доступным на платформе GitHub. Компания также открыта к сотрудничеству и приглашает к тестированию платформы и совместным разработкам в области ИИ для автономных транспортных средств. По мере того, как RISC-V набирает обороты в этом секторе, SiFive с ранним успехом на платформе Intelligence XM уверенно позиционирует себя в качестве ключевого игрока и надежного партнера для создания будущего автотранспорта.  Развитие автомобильного искусственного интеллекта требует максимальной производительности, эффективности и кастомизации, возможной только с открытыми архитектурами и современными программными стеками.

Запуск BEVFormer на SiFive Intelligence XM — важный шаг в этом направлении, который показывает, куда движется индустрия и какие технологии определят следующий десяток лет автономного вождения.