В мире искусственного интеллекта и больших языковых моделей произошла значимая новинка — компания Huawei представила открытую модель с открытыми весами, обученную на собственных мощных GPU Ascend. Этот анонс стал важным событием на фоне интенсивного развития технологий распознавания и генерации языка, а также усиливающейся конкуренции в сфере ИИ-технологий между ведущими мировыми корпорациями. Новинка не только отражает технологический прогресс Huawei, но и открывает перед исследователями и разработчиками новые возможности для построения и использования масштабных языковых моделей. Ключевым аспектом модели Huawei является использование архитектуры Mixture of Grouped Experts (MoGE) — усовершенствованной версии концепции Mixture of Experts (MoE), которая позволяет значительно повысить эффективность обработки данных за счёт умной маршрутизации токенов к наиболее релевантным экспертам внутри модели. В традиционных MoE системах наблюдается дисбаланс нагрузки между отдельными экспертами, когда одни активируются намного чаще, чем другие, вызывая замедление и снижение общей производительности.
MoGE решает эту проблему с помощью группировки экспертов и обязательного равного активационного распределения внутри каждой группы, что значительно улучшает балансировщика нагрузки и способствует эффективной параллельной обработке. Обучение модели с 72 миллиардами параметров стало возможным благодаря применению последних поколений нейропроцессоров Huawei Ascend — в частности, Ascend 300I Duo и 800I A2, специально оптимизированных для работы с крупномасштабными задачами искусственного интеллекта. Эти процессоры обеспечивают высокую степень параллелизма, низкое энергопотребление и выдающуюся пропускную способность, что позволяет не только ускорить процесс обучения, но и сделать более производительной фазу инференса. В ходе испытаний показано, что модель Pangu Pro MoE на Ascend NPUs достигает скорости обработки 1148 токенов в секунду на одном устройстве, а при использовании техники speculative acceleration показатель повышается до 1528 токенов в секунду. Такие результаты заметно превосходят аналогичные показатели плотных (Dense) моделей с параметрами в 32 и 72 миллиарда, демонстрируя лучший баланс между производительностью и затратами на вычисления.
Huawei уделила особое внимание также экономической эффективности использования своей модели. Платформа Ascend 300I Duo обеспечивает отменное соотношение цены и производительности, что представляет интерес как для научных организаций, так и для коммерческих компаний, ищущих оптимальные решения для внедрения ИИ-технологий. Это особенно важно на фоне растущих требований к масштабируемости и снижению затрат на обслуживание вычислительной инфраструктуры. Что выделяет Pangu Pro MoE на фоне других существующих моделей — это её открытость. Huawei сделала модель и соответствующие веса общедоступными, что значительно упрощает доступ к передовым ИИ-технологиям исследователям и разработчикам по всему миру.
Такой шаг усиливает сотрудничество в сообществе, способствует более быстрому внедрению новых идей и технологий, а также сокращает барьеры, связанные с закрытостью и ограничениями лицензирования. Реализация Mixture of Grouped Experts в Pangu Pro MoE не только обеспечивает улучшенное балансирование нагрузки, но и оптимизирована для эффективного распределения вычислений по нескольким устройствам. В современных условиях масштабные языковые модели требуют массивного параллелизма на уровне оборудования, и Ascend NPUs справляются с этой задачей, предлагая гибкие механизмы распределения вычислительных ресурсов и оптимизации коммуникаций. В контексте мирового рынка ИИ Huawei с Pangu Pro MoE укрепляет свои позиции как один из передовых разработчиков крупных языковых моделей наряду с международными лидерами. Модель способна конкурировать с известными открытыми проектами, такими как GLM-Z1-32B и Qwen3-32B, предлагая более высокую производительность и экономичность.
Это подчеркивает стратегический подход компании к развитию передовых технологий, объединяющий аппаратное обеспечение и программные решения. Кроме того, наследие Huawei в области разработки специализированных ИИ-решений и собственных процессоров, таких как Ascend, даёт компании уникальное преимущество в формировании экосистемы для обучения и эксплуатации больших моделей. Использование оптимизированных чипов позволяет значительно сократить время и ресурсы, необходимые для получения качественных результатов в области обработки естественного языка. Для исследователей и инженеров открытая публикация модели с её весами является мощным ресурсом. Возможность проанализировать модель, адаптировать её под свои нужды и оптимизировать для специализированных задач открывает путь к новым технологическим открытиям.
Такая практика способствует развитию инновационной среды, где знания и наработки обмениваются свободно, что ускоряет прогресс в отрасли. Исторически развитие больших моделей искусственного интеллекта опирается на прогресс аппаратных средств, программных библиотек и архитектурных нововведений. В этом смысле Pangu Pro MoE представляет собой сочетание этих элементов и является результатом комплексного подхода к решению задач масштабного обучения на примере китайского технологического гиганта. В заключение, Huawei с выпуском открытой модели Pangu Pro MoE, обученной на Ascend GPU, задаёт новый эталон в области вычислительной эффективности и высокопроизводительного машинного обучения. Продвинутая архитектура Mixture of Grouped Experts решает классические проблемы с балансировкой нагрузки, а масштабная реализация на собственных нейропроцессорах демонстрирует возможности отечественного аппаратного обеспечения.
Открытость модели открывает новые горизонты для исследовательского сообщества и промышленности, способствуя развитию искусственного интеллекта на глобальном уровне и стимулируя инновации в области обработки естественного языка.
