В современном цифровом мире технологии искусственного интеллекта становятся всё более неотъемлемой частью нашей повседневной жизни. Среди последних инноваций – Google Gemini, интегрированный в Google Workspace инструмент, который помогает пользователям быстро обрабатывать информацию, создавая краткие резюме и анализируя содержимое электронных писем. Однако, несмотря на очевидные преимущества, безопасность этой технологии вызывает серьёзные вопросы. Недавно информационная безопасность получила серьёзный вызов: специалисты выявили возможность использования Google Gemini для направления пользователей на фишинговые сайты. Это открывает новые горизонты для кибератак и повышает риски компрометации данных.
Проблема основывается на уязвимости, связанной с так называемыми инъекциями промптов. Основная суть атаки состоит в том, что злоумышленники создают специальные e-mail сообщения, в которые внедряют скрытые вредоносные инструкции для искусственного интеллекта. Эти указания не видны обычному глазу, так как их содержимое может быть скрыто с помощью HTML- и CSS-технологий: текст либо окрашен в цвет фона, либо уменьшен до размера нуля. Визуально письмо кажется безвредным, не содержащим подозрительных ссылок или вложений, поэтому оно с высокой вероятностью попадает во входящие пользователя. Когда пользователь открывает такое письмо и просит Google Gemini создать краткое резюме, ИИ невольно прочитывает скрытые инструкции и исполняет их.
В результате в итоговом сообщении появляется ложное предупреждение о якобы скомпрометированном аккаунте, фейковый номер службы поддержки, а иногда и ссылки, которые ведут на поддельные сайты. Поскольку пользователи склонны доверять подсказкам и результатам, сгенерированным искусственным интеллектом Google, шансы на успешное проведение фишинговой атаки значительно возрастают. Об уязвимости Google Gemini сообщил эксперт по информационной безопасности Марко Фигероа, менеджер программы bug bounty сети 0Day Investigative Network, запущенной Mozilla. Эта инициатива направлена на выявление уязвимостей в больших языковых моделях и других передовых технологиях глубокого обучения. Сообщение Фигероа привлекло внимание профессионального сообщества и вызвало широкий резонанс в СМИ.
Суть атаки – использование невидимых директив, помещённых в тело письма, которые Gemini должен выполнить. При этом вредоносный код не отображается обычным способом ни в интерфейсе Gmail, ни в стандартном почтовом клиенте. Такой хитрый подход обходится без классических признаков фишинга, таких как подозрительные вложения, необычные ссылки или грамматические ошибки. Эффективность атаки следствие высокой доверчивости пользователей к продуктам Google, которые заслужили репутацию надёжных и безопасных. Если в выводе Gemini появляется предупреждение об угрозе безопасности, пользователь с большой вероятностью воспримет это как объективное и официальное сообщение, что повышает риск перехода по вредоносным ссылкам или звонка на указанный телефон мошенников.
Для противодействия угрозам специалисты предлагают несколько путей смягчения проблемы. В первую очередь это детекция и игнорирование скрытого текста, оформленного с помощью CSS и HTML так, чтобы пользователь не видел его. Это позволит предотвратить чтение подобных инструкций искусственным интеллектом. Не менее важно использовать дополнительные постобработчики, сканирующие вывод Gemini на предмет ключевых признаков фишинга – предупреждений о безопасности, телефонных номеров, URL-адресов. Все подозрительные сообщения должны быть помечены для ручной проверки.
Пользователям рекомендуется сохранять критическое отношение к автоматическим сводкам и предупреждениям, генерируемым Google Gemini, особенно если речь идёт о безопасности их аккаунтов. Не следует сразу доверять таким указаниям и рекомендуется самостоятельно проверить официальные источники или связаться с техподдержкой через известные контакты. Представители Google заявили, что компания активно работает над устранением подобных уязвимостей. На данный момент сотрудники Google проводят постоянные red team тестирования, в ходе которых модели искусственного интеллекта обучаются распознавать и противодействовать попыткам промпт-инъекций. По словам представителей Google, они не имеют сведений о практических случаях успешного использования такой схемы в реальной среде, однако признали важность продолжать совершенствовать систему защиты.
