Apple продолжает развивать свои технологии искусственного интеллекта, представив обновленные Foundation Models и интегрируя их в приложение Shortcuts с новым действием "Use Model". Это шаг, который открывает новые горизонты для пользователей устройств Apple, позволяя им получать доступ к мощным AI-возможностям как локально, так и через облачные сервисы компании. Рассмотрим, что собой представляют эти модели, как работает действие "Use Model" и какие перспективы открываются благодаря этому инструменту. Основой для работы действия "Use Model" служат две ключевые модели искусственного интеллекта, разработанные Apple. Первая — это компактная модель с примерно 3 миллиардами параметров, которая работает непосредственно на устройстве пользователя.
Вторая — более крупная сервисная модель, построенная по архитектуре mixture-of-experts (MoE) для облачного использования и располагающаяся на платформе Private Cloud Compute. Такая дифференциация моделей позволяет совмещать мощность вычислений серверов с оффлайн-доступностью, обеспечивая гибкость и эффективность. Впервые эти модели были представлены в компании около года назад, но Apple недавно анонсировала их обновленную версию, характеризующуюся улучшенными навыками работы с инструментами, повышенными способностями к рассуждениям, а также поддержкой работы с изображениями и текстом на 15 языках. Кроме того, они оптимизированы под Apple Silicon, что обеспечивает более быструю и энергоэффективную работу без ущерба для производительности. Действие "Use Model" в Shortcuts — это интерфейс, который позволяет пользователям вводить произвольные текстовые запросы и получать ответы от одной из трех моделей: локальной Apple Foundation Model, облачной AFM-server модели или ChatGPT.
Интеграция с ChatGPT происходит через официальное расширение OpenAI в настройках iOS и требует наличия учетной записи пользователя в OpenAI. Особенностью использования "Use Model" является возможность вести диалог в режиме follow-up, предоставляя удобный чатоподобный опыт взаимодействия с искусственным интеллектом прямо в Shortcuts. Это делает автоматизацию более гибкой и творческой, поскольку позволяет строить сложные сценарии на базе AI. Однако пока существует ряд вопросов и неопределенностей относительно конкретной реализации. Например, неизвестно, есть ли ограничения по частоте запросов к облачной модели, а также каким именно вариантом ChatGPT пользуется интеграция в Shortcuts.
Попытки выяснить это, показали, что задействована версия GPT-4 Turbo от ноября 2023 года, которая на сегодняшний день уже не считается передовой. Что касается Apple Foundation Models, то сравнение с другими аналогами на рынке дает представление об их уровне. Малая модель Apple конкурирует с Qwen-2.5-3B и Gemma-3-4B, а облачная серверная модель примерно равна по параметрам Llama-4-Scout с оценочной численностью порядка 17 миллиардов параметров. Это говорит о том, что Apple достигает конкурентоспособных результатов, хотя по качеству ей уступают самые последние версии GPT и крупнейшие открытые модели.
Интеграция возможностей анализа изображений вызывает особенный интерес. Согласно опубликованным данным, обновленные модели поддерживают распознавание и анализ визуальных данных, что открывает широкие перспективы в многоаспектной работе с медиа. Тем не менее на практике функция анализа изображений с помощью локальной модели в Shortcuts пока неактивна — попытки получить описание картинки приводят к ответу, что на самом деле модель не может прямо описывать изображения. При этом облачная модель выдает достаточно подробные и точные описания, что свидетельствует о дополнительной функциональности серверной версии. Такой факт порождает гипотезы о том, что либо локальная модель пока не обновлена до версии с поддержкой зрения, либо данная функция не реализована в приложении Shortcuts.
Кроме того, долгое сохранение одинаковых ответов на повторную загрузку одного и того же изображения указывает на возможное кеширование результатов на сервере, что снижает нагрузку и ускоряет обработку, но не раскрывается в публичных документах. Еще одной интересной особенностью действия "Use Model" является умение работать с нативными структурами данных, которые используются в Shortcuts. Пользователь может задать, чтобы ответ модели был возвращен в виде конкретного типа данных, например, словаря, списка или булева значения. Это позволяет органично вписывать вывод искусственного интеллекта в автоматизацию, делая ее значительно более мощной и точной. Благодаря «пониманию» переменных и объектов, сформированных в Shortcuts, модели способны обрабатывать сложные структуры, такие как напоминания, события календаря, сохраненные ссылки или фотографии.
В качестве примера можно привести работу с приложением GoodLinks, где модель отбирает статьи по заданной теме и возвращает готовый список релевантных ссылок, что демонстрирует высокий уровень интерактивности и интеграции AI. Нативное взаимодействие с сущностями, предоставляемыми сторонними приложениями, построено на механизме JSON-представления данных, которое передается модели через Shortcuts. Такой подход не требует непосредственного обновления самих приложений для работы с Apple Foundation Models, что открывает широкие возможности для дальнейшей эволюции экосистемы. Пока что некоторые ограничения видны на практике. Например, попытки обработать слишком большой объем RSS-ленты или других текстовых данных местной Apple Foundation Model приводят к ошибкам из-за превышения контекстного окна.
В то же время интеграция с ChatGPT справляется с большими объемами, благодаря расширенному контекстному окну, достигающему 128 тысяч токенов. Несмотря на открытые вопросы и недосказанности, перспективы, открывающиеся с обновленными Foundation Models и действием "Use Model" в Shortcuts впечатляют. Apple фактически предлагает гибридный подход, объединяющий традиционные, подготовленные заранее рабочие процессы с невероятно мощным и адаптивным искусственным интеллектом, который способен реагировать на нестандартные запросы и структурировать данные по желанию пользователя. Оптимизация работы с JSON и интеграция с многочисленными видами данных, используемыми в iOS и iPadOS, позволяют создавать по-настоящему продвинутые сценарии автоматизации, которые могут приносить реальную пользу. К тому же локальная модель обеспечивает приватность и автономность, в то время как облачная повышает качество и расширяет набор функций.
В ближайшем будущем можно ожидать появления новых подробностей об архитектуре моделей, расширения функционала для работы с изображениями и видео, а также более глубокого раскрытия возможностей настройок и системных подсказок. Пользователи, которые заинтересуются и внедрят в свои схемы действие "Use Model", окажутся на переднем крае инноваций Apple в области искусственного интеллекта. В итоге Apple демонстрирует стратегию интеграции искусственного интеллекта во все уровни пользовательского опыта на своих устройствах, делая его доступным не только разработчикам, но и обычным пользователям через средство автоматизации Shortcuts. Это ставит компанию в ряд лидеров по внедрению AI-решений на массовом уровне и задает тренды в отрасли. Следовательно, обновленные Foundation Models и действие "Use Model" в Shortcuts заслуживают пристального внимания — они открывают новые возможности для повышения продуктивности, персонализации и удобства работы с технологическим окружением Apple.
Как только появится больше информации о внутренних механизмах и новых функциях, интерес к этим инструментам обязательно возрастет, что приведет к развитию экосистемы и расширению сферы применения искусственного интеллекта в повседневной жизни пользователей.
