В современном мире искусственный интеллект (ИИ) активно интегрируется во многие сферы жизни — от автономных транспортных средств до медицины и систем безопасности. Компьютерное зрение, одна из ключевых областей ИИ, позволяет машинам распознавать объекты, людей, дорожные знаки и многое другое с высокой точностью. Однако с ростом зависимости от таких технологий становится все более очевидным и повышается риск их уязвимости перед атаками, способными дестабилизировать их работу. Недавно исследователи из Северной Каролины разработали уникальную методику атаки на системы компьютерного зрения, которая получила название RisingAttacK. Она дает возможность манипулировать тем, что искусственный интеллект «видит», и тем самым ставит под угрозу безопасность и надежность ИИ-систем.
RisingAttacK представляет собой новый класс так называемых «адверсариальных атак» — методов, при которых во входные данные, передаваемые в систему ИИ, вносятся незаметные для человека изменения, кардинально меняющие интерпретацию изображения. В случае с RisingAttacK происходит детальный анализ визуальных характеристик изображения, после чего алгоритм выбирает наиболее значимые для распознавания объекты или детали и целенаправленно изменяет именно их. Ключевая особенность этой техники — минимальные изменения, которые практически незаметны для человеческого глаза, но критически влияют на выводы ИИ. Например, на изображении автомобиля два варианта могут выглядеть одинаково, но один ИИ распознает как автомобиль, а другой — нет. Такое тонкое воздействие достигается благодаря глубокому анализу чувствительности конкретной модели ИИ к изменениям определенных признаков.
Важным аспектом исследования стало тестирование RisingAttacK на четырех самых популярных моделях компьютерного зрения: ResNet-50, DenseNet-121, ViTB и DEiT-B. Все они продемонстрировали уязвимость перед новой атакой, что подтверждает способность метода влиять на широкий спектр систем. Применение RisingAttacK в реальной жизни может иметь серьезные последствия. В сфере автономных автомобилей такой вид атаки способен нарушить распознавание дорожных знаков, пешеходов или других транспортных средств, что ставит под угрозу безопасность пассажиров и участников движения. В сфере медицины могут быть предприняты попытки искажать изображения медицинских сканеров, что приведет к ошибочным диагнозам и представляющей угрозу здоровью и жизни пациентов ситуации.
Безопасность — ключевая тема, при обсуждении развития ИИ. Исследователи считают необходимым выявлять уязвимости предельно рано, чтобы разрабатывать технологии защиты и повышать надежность существующих систем. RisingAttacK служит примером того, как изучение методов атак позволяет создавать более устойчивые к внешним воздействиям алгоритмы и повышать уровень доверия к продуктам на базе ИИ. Еще одна интересная область, в которой предстоит проверить эффективность RisingAttacK, — большие языковые модели. Применение похожих атак там может привести к манипуляциям в понимании и генерации текста, что само по себе открывает новые экономические и этические вызовы.
Разработка защитных стратегий от подобных атак — важнейшая задача для исследователей и разработчиков, ведь минимальная уязвимость в системах ИИ может иметь серьезные последствия в масштабах всей индустрии. Важную роль играет также международное сотрудничество и создание нормативных актов, способствующих безопасности ИИ и защите пользователей от киберугроз. Работа, посвященная RisingAttacK, была представлена на Международной конференции по машинному обучению (ICML 2025) в Ванкувере и привлекла внимание широкой научной общественности. Она стала значимым шагом в понимании того, как небольшие изменения в данных могут разрушать доверие к ИИ и что предстоит сделать, чтобы обезопасить искусственный интеллект в будущем. В заключение можно сказать, что технология RisingAttacK представляет собой серьезное предупреждение для разработчиков и пользователей систем искусственного интеллекта.
Она заставляет задуматься над тем, насколько сложна и уязвима экосистема ИИ, и как важно вкладывать ресурсы в изучение и преодоление новых видов киберугроз. С одной стороны, это исследование раскрывает новые возможности для тестирования и улучшения систем безопасности, с другой — подчеркивает необходимость постоянного мониторинга предприятий, использующих ИИ во всех сферах жизни. В эпоху, когда инновационные технологии становятся фундаментом многих индустрий, поддержание их безопасности и устойчивости — приоритет для всей отрасли. RisingAttacK напоминает нам о том, что мы должны быть на шаг впереди потенциальных угроз, совершенствуя и защищая искусственный интеллект сегодня, чтобы сохранить доверие и безопасность завтра.
![Build Systems à la Carte (2018) [pdf]](/images/B1A20668-E5C3-497A-A7AE-ABD8E06700B2)
