В эпоху быстрого развития искусственного интеллекта голосовые ассистенты стали неотъемлемой частью нашей повседневной жизни и рабочих процессов. Их тесная интеграция с внешними сервисами, включая электронные календари, почтовые ящики и облачные хранилища, существенно повышает удобство использования и эффективность. Однако, вместе с этим интеграция создает сложные вызовы в области безопасности, порождая новые векторы атак, которые затруднительно обнаружить и предотвратить. Одной из таких угроз является обнаруженная командами Repello AI критическая уязвимость в голосовом помощнике 11.ai от Eleven Labs, способная эксплуатировать уязвимость в системе Model Context Protocol (MCP), позволяя злоумышленникам похищать конфиденциальные данные из Google Календарей без какого-либо вмешательства со стороны пользователя.
11.ai — это инновационный голосовой AI-ассистент, построенный на платформе следующего поколения от Eleven Labs, который позволяет не только вести диалог, но и выполнять действия посредством подключения к разнообразным инструментам таких как Google Calendar, HackerNews, Notion и Slack. Важным элементом технологии является MCP — протокол, который предоставляет гибкие возможности для взаимодействия с третьими сервисами. К сожалению, именно эта гибкость стала источником серьезной безопасности риска, позволяющего проводить атаки через календарные события. Суть уязвимости состоит в механизме атаки, называемой Cross-Context Prompt Injection Attack (XPIA).
В ходе этой атаки злоумышленник взламывает уровень доверия между пользователем и AI-ассистентом, внедряя вредоносные команды непосредственно в описание события календаря, которые затем незаметно интерпретируются AI и запускают действия, направленные на кражу данных пользователя. Ключевой особенностью уязвимости является отсутствие необходимости взаимодействия пользователя — вся атака происходит в «нулевой клик», что значительно повышает ее опасность. В традиционных моделях безопасности пользователь обычно подтверждает действия AI перед выполнением — например, создание событий или отправка писем. Однако в 11.ai уязвимость затрагивает как режим с детальным одобрением действий, так и без него.
Механизм атаки достаточно прост, но крайне эффективен. Злоумышленник отправляет вредоносный календарный приглашение с особым текстом в описании, содержащим инструкции для AI, чтобы тот, при запросе пользователя кратко резюмировать день, обманным путем считывал не только полезную информацию, но и внедренный вредоносный код. В результате AI ассистент автоматически создает новое событие в календаре с описанием, содержащим всю конфиденциальную информацию из календаря, и отправляет его на электронную почту злоумышленника. Этот сценарий демонстрирует, насколько важно пересмотреть привычные подходы к безопасности в контексте инструментов с искусственным интеллектом. Классические методы управления доступом и утверждения процедур не всегда подходят для предотвращения XPIA.
Уязвимость в 11.ai наглядно показывает, как смешение доверенного и недоверенного контекста в рамках одного диалога или обработки данных может привести к масштабным последствиям. Появление Cross-Context Prompt Injection Attack связано с особенностями работы больших языковых моделей (LLM). Эти модели обрабатывают данные от пользователя и других источников, объединяя их в общий контекст для генерации ответа. Если в этом контексте появляется вредоносный ввод, он может заставить модель выполнять нежелательные действия, игнорируя или обходя инструкции самого пользователя.
Как правило, в таких атаках атакующий не контролирует прямой ввод пользователя, а внедряет команды в источники данных, с которыми модель взаимодействует автоматически, например, в тексты электронных писем или события календаря. Последствия подобных уязвимостей выходят далеко за рамки конкретного продукта. Любой AI-ассистент, тесно интегрированный с инструментами рабочего процесса, может оказаться открытым для подобных эксплойтов, если не будут внедрены надежные меры изоляции контекста, проверки и мониторинга выполнения команд. В свете данных рисков специалисты по безопасности предлагают комплексные меры, направленные на минимизацию угроз, связанных с AI-ассистентами. Во-первых, важна изоляция выполнения инструментальных операций от потоков «сырого» текстового вывода модели.
Это помогает гарантировать, что команды не будут интерпретированы или выполнены без дополнительного контроля. Во-вторых, действия, особенно те, которые могут повлечь за собой создание, изменение или отправку важных данных, должны проходить логирование и аудирование, а в отдельных случаях предусматривать присутствие человека для финального одобрения. В технологии мониторинга необходимо уделять первостепенное внимание выявлению подозрительных паттернов, свойственных XPIA, в том числе анализу входных данных в такие инструменты, как календари и почтовые ящики. Существуют специализированные решения, такие как ARGUS от Repello AI, предназначенные для распознавания и нейтрализации попыток внедрения вредоносного кода в режиме реального времени. Особое внимание следует уделить архитектурным изменениям, ориентированным на выстраивание более безопасных AI-экосистем, где каждое взаимодействие модели с внешними сервисами контролируется, фильтруется и при необходимости блокируется.
Это включает использование красных команд в тестировании безопасности (например, ARTEMIS от Repello AI), автоматизацию проверок и построение прочной инфраструктуры безопасности. Угроза, выявленная в 11.ai, служит мощным напоминанием о том, что будущее AI неразрывно связано с вопросами безопасности и конфиденциальности. Разработчики, компании и пользователи обязаны учитывать возможные риски и выстраивать защиту, которая адекватно отражает сложность и уникальность современных AI-приложений и их интеграций. Нельзя забывать, что даже самые продвинутые языковые модели сами по себе не являются злоумышленниками.
Однако их возможность выполнять команды, основанные на вводимых данных, без достаточных ограничений открывает непредвиденные каналы атак. Открытия подобных уязвимостей подчеркивают, что в мире AI система безопасности должна стать фундаментальной частью продукта, а не лишь дополнительным элементом. Заключение подводит к мысли, что бездумное доверие к AI-ассистентам, взаимодействующим с жизненно важными инструментами, такими как календари и почта, способно привести к масштабному нарушению безопасности. Случай с 11.ai является не только предупреждением, но и призывом сообществу разработчиков и специалистам по безопасности к активной совместной работе над созданием новых стандартов и практик, которые позволят защитить персональные данные и бизнес-процессы в условиях постоянного расширения возможностей AI.
