В эпоху стремительного развития искусственного интеллекта и машинного обучения локальные языковые модели играют все более важную роль в обеспечении конфиденциальности, скорости и эффективности работы приложений на устройстве пользователя. В июне 2025 года Microsoft анонсировала свою новую языковую модель под названием Mu, которая открывает новые горизонты для интеграции ИИ в повседневную работу с операционной системой Windows. Mu представляет собой малогабаритную языковую модель, способную выполнять сложные задачи по интерпретации и трансформации естественного языка в конкретные действия с минимальными затратами ресурсов и максимальной скоростью отклика, что особенно актуально для встроенных агентов и помощников. В основе Mu лежит трансформерная архитектура типа кодер-декодер, построенная с учетом особенностей и ограничений нейронных процессорных устройств (NPU), которые все чаще используются в современных компьютерах и устройствах с Windows. В отличие от традиционных моделей только с декодером, Mu сначала преобразует входной текст в компактное латентное представление с помощью кодера, а уже затем декодер генерирует ответы, что существенно снижает вычислительные затраты и улучшает пропускную способность.
Такой подход позволяет модели работать с большой эффективностью и снижать задержки — например, при тестах на мобильном AI-ускорителе Qualcomm Hexagon NPU модель достигла почти в полтора раза меньших задержек при выходе первого токена и в почти пять раз более высокой скорости декодирования по сравнению с аналогами такого же размера, основанными на архитектуре только с декодером. Особенно примечательно, что разработчики тщательно оптимизировали архитектуру Mu под параллелизм и ограничения памяти современных NPU, подбирая слои и размеры параметров так, чтобы максимально использовать возможности аппаратного ускорения. Кроме того, в модели использовано разделение параметров между кодером и декодером с соотношением примерно две трети на одну треть, что доказало свою эффективность по соотношению производительности и количества параметров. Для уменьшения объема модели была применена техника связывания весов между входными и выходными эмбеддингами, позволяющая использовать один набор весов и тем самым экономить память, что критично для устройств с ограниченными ресурсами. Важным фактором оптимизации стало использование только тех операций, которые поддерживает исполнение на NPU, чтобы избежать влияния неэффективных или неподдерживаемых функций на производительность.
Архитектурные решения дополнили инновационные приемы, повышающие эффективность и качество работы модели. В Mu внедрена двойная нормализация слоев, которая стабилизирует и улучшает обучение за счет нормализации как перед, так и после каждого подслоя трансформера без значительного увеличения вычислительной нагрузки. Использование ротационных позиционных эмбеддингов (Rotary Positional Embeddings) позволяет модели лучше учитывать относительные позиции слов во входной последовательности, что улучшает понимание контекста и способность к работе с длинными запросами, превосходя традиционные подходы к позиции. Кроме того, применяется механизм группированной внимания (Grouped-Query Attention), при котором ключи и значения разделены между группами голов внимания, что сокращает количество вычислений и памяти, не ухудшая разнообразие и точность внимания, что важно при работе на энергоэффективных NPU. Для обучения модели Mu использовалась масштабная инфраструктура на базе графических процессоров Nvidia A100 и платформы Azure Machine Learning.
Первоначально модель проходила предобучение на сотнях миллиардов образовательных и высококачественных текстовых данных с целью освоения синтаксиса, грамматики, семантики и общего понимания мира. После этого последовала фаза дистилляции знаний от крупной модели Phi, что значительно повысило эффективность Mu при сохранении компактного размера. Такая стратегия позволила объединить знания больших моделей с производительностью и эффективностью малой модели, сохраняя при этом приемлемый уровень точности. Для более эффективного решения специализированных задач модель проходит дообучение с использованием методики низкоранговой адаптации (LoRA), что позволяет сильно повысить качество работы на конкретных данных без значительного увеличения затрат по ресурсам. Mu показала хорошие результаты в задачах вопрос-ответ, программирования (CodeXGlue) и, особенно, в решении задачи управления параметрами Windows через голосовые и текстовые запросы.
Особое внимание в Microsoft уделили интеграции Mu в интерфейс операционной системы, а именно в настройки Windows, создавая интеллектуального помощника, способного воспринимать запросы естественного языка и точно переводить их в системные действия. Это особенно важно для Copilot+ ПК, где быстрый отклик и малые задержки являются критичными для хорошего пользовательского опыта. Разработка помощника внутри настроек требует точного распознавания многих команд, связанных с сотнями параметров операционной системы, где даже короткий запрос может иметь неоднозначное толкование. Для снижения ошибок и повышения адекватности откликов была собрана и синтезирована большая обучающая выборка с разнообразными формулировками, а также внедрены методы шумоподавления и метаданной оптимизации. Благодаря этому агент в Настройках достигает времени отклика менее 500 миллисекунд, что обеспечивает интерактивность и комфорт работы.
Особый вызов представляли короткие и двусмысленные запросы, когда недостаточно контекста для точного определения намерения пользователя. Для оптимизации процессов взаимодействия агент интегрирован в поисковую строку Настроек Windows, где он активируется только при четких и многословных запросах, а при слишком кратких продолжает работать традиционный поиск, что позволяет экономить ресурсы и сохранять точность. Задача управления многочисленными и пересекающимися параметрами Windows требует постоянной корректировки приоритетов и адаптации к популярным сценариям использования. Компания Microsoft продолжает собирать отзывы от участников программы Windows Insider, чтобы улучшить агент и расширить его возможности. Кроме технологических инноваций в области моделей, большое значение имели тесные сотрудничества с партнерами из AMD, Intel и Qualcomm для обеспечения полной совместимости, оптимизации и максимальной производительности Mu на различных аппаратных платформах.
Важным этапом оптимизации стало квантование модели — перевод весов и активаций из плавающей точки в целочисленные 8- и 16-битные форматы с сохранением точности, что позволило значительно уменьшить объем памяти и повысить быстродействие без дополнительного обучения. В сочетании с аппаратно-специфичными оптимизациями это обеспечило фантастическую скорость инференса более 200 токенов в секунду на Surface Laptop 7. Языковая модель Mu демонстрирует пример эффективного объединения мощи глубокого обучения и тонкой настройки под аппаратное обеспечение с целью создания реальных продуктов, которые улучшают пользовательский опыт без ущерба для безопасности и приватности, так как модель выполняется полностью локально на устройстве. Ожидается, что Mu и основанные на ней решения будут расширяться не только в Windows, но и в других продуктах Microsoft и партнерских разработках, где важны минимальные задержки и высокая компактность модели. В погоне за дальнейшим улучшением качества и удобства работы Microsoft планирует продолжить развитие модели, расширяя области применения, оптимизируя обучение, а также углубляя интеграцию с Windows и другими сервисами.
Mu является ярким примером того, как наращивание инноваций в области маленьких, локальных языковых моделей позволит компании оставаться на передовой волне ИИ, предоставляя пользователям мощные и быстрые инструменты для взаимодействия с устройствами на повседневной основе. Революция в искусственном интеллекте продолжает развиваться, и новая маленькая, но эффективная модель Mu от Microsoft служит ярким ориентиром для будущих исследований и разработок в области локальных языковых моделей на устройствах с ограниченными вычислительными ресурсами.
