В эпоху стремительного развития искусственного интеллекта и автоматизации интернет-пространства владельцы веб-сайтов все чаще сталкиваются с проблемой AI-скреперов. Эти автоматические программы не просто совершают обычные запросы, а в масштабах, угрожающих стабильности онлайн-ресурсов. Они забирают полезный контент, увеличивают нагрузку на серверы и, как следствие, повышают расходы на хостинг. Особенно остро эта проблема стоит для небольших организаций, открытых проектов и архивов, чьи возможности ограничены, а контент — уникален и ценен. В ответ на эту угрозу появился Anubis — инженерное решение нового поколения, обеспечивающее надежную защиту с помощью открытого и бесплатного программного обеспечения.
Anubis, созданный инноватором и техническим педагогом по имени Xe Iaso, представляет собой самохостируемый брандмауэр для остановки AI-ботов. Его уникальность в том, что он не просто фильтрует трафик, а заставляет потенциальных ботов проходить ряд интеллектуальных проверок, с которыми справляются только настоящие браузеры. По сути, Anubis работает как продвинутый сетевой дозор, отделяющий живых пользователей от автоматизированных систем, благодаря чему владельцы сайтов выигрывают в производительности и безопасности. Современные исследования показали, что более половины интернет-трафика представляет собой не человечество, а именно автоматизированные программы, среди которых — боты от компаний OpenAI, Google и других крупных игроков. Эти боты собирают огромные объемы данных, часто без согласия владельцев ресурсов.
Этому явлению уже дали неоднозначную оценку: от обеспокоенности за интеллектуальные права и безопасность до открытых судебных разбирательств, например, между Ziff Davis и OpenAI в 2025 году. В такой среде Anubis предлагает «ядерный» ответ, защищая ценный контент и предотвращая лишние расходы, связанные с повышенной нагрузкой. Отличительной чертой Anubis является концепция «uncaptcha» — инновационный подход, который отличается от привычных CAPTCHA. Вместо того чтобы заставлять пользователя решать очевидные тесты, Anubis анализирует работу браузера и выполнение сложных криптографических операций в фоновом режиме с помощью JavaScript. Для пользователя эти действия незаметны, современные устройства справляются с ними без заметных задержек, а для ботов — особенно тех, у которых нет полноценной поддержки JavaScript, такие проверки становятся непреодолимым препятствием.
По сути, Anubis использует вычислительную нагрузку как своеобразный барьер, снижающий эффективность массового скрапинга. Разработчик признается, что некоторые пользователи могут опасаться использования JavaScript с учетом вопросов безопасности и конфиденциальности, и в настоящее время ведется работа над версией Anubis, которая не будет зависеть от этого компонента. Однако внедрение такой технологии требует серьезных усилий и времени. На данный момент Anubis демонстрирует отличные параметры по ресурсопотреблению: он занимает менее 128 МБ оперативной памяти на серверной стороне, а основная нагрузка перекладывается на посетителей сайта. Стоит подчеркнуть, что Anubis действует прозрачно для большинства посетителей.
Они не сталкиваются с раздражающими тестами и капчами, поскольку вся вычислительная работа проводится незаметно в фоновом режиме. Проблемы могут возникнуть лишь у пользователей с устаревшими браузерами или полностью отключенным JavaScript, тогда как бот-фермы несут значительные вычислительные издержки, не оправдывающие масштабы их деятельности. Anubis, по умолчанию, работает в достаточно агрессивном режиме, который напоминает режим «Под атакой» у известного провайдера Cloudflare. Это означает, что многие подозрительные запросы будут блокироваться с самого начала, что помогает администраторам не беспокоиться о постоянном мониторинге и сбоях. Однако такая паранойя может влиять и на «хороших ботов» — например, тех, что обслуживают RSS-ридеры или Интернет-архив, поэтому предусмотрена возможность создания белых списков и более гибких правил для сбалансированной работы.
Множество известных организаций, включая GNOME, FFmpeg и UNESCO, уже внедрили Anubis для защиты своих инфраструктур. Статистика использования показывает впечатляющие результаты. Так, библиотечные системы университета Duke смогли сократить нежелательный трафик на 90 процентов и блокировать более четырех миллионов запросов в день, одновременно улучшив качество обслуживания реальных пользователей и снизив нагрузку на серверы. Запуск Anubis достаточно гибок и может быть выполнен несколькими способами, что делает продукт доступным как для продвинутых инженеров, так и для небольших команд. Обычно он размещается между обратным прокси и целевым веб-приложением, обеспечивая фильтрацию на уровне сети.
Поддержка на данный момент бесплатна, а сообщество вокруг проекта активно, включая возможность живого общения через Discord в Patreon-канале разработчика. Для крупных организаций существует коммерческая версия под названием BotStopper, предоставляющая расширенные функции и возможность кастомизации брендирования. Разработчики Anubis продолжают совершенствовать программное обеспечение, чтобы противостоять новым техникам уклонения, таким как использование безголовых браузеров и сложное браузерное распознавание. Их цель — сохранить интернет удобным и доступным для настоящих пользователей, затруднить масштабные автоматизированные атаки и обеспечить долговременную устойчивость защитных технологий. В свете постоянного роста числа AI-ботов и эволюции методов сбора данных, внедрение решений наподобие Anubis становится не просто желательной мерой, а необходимостью для владельцев ресурсов, стремящихся сохранить уникальность контента и контролировать нагрузку на инфраструктуру.
Открытая природа проекта и его бесплатность создают равные возможности для всех — от небольших стартапов до крупных открытых организаций, заинтересованных в сохранении своего присутствия в интернете. Поддержка подобных инициатив является важным шагом в построении безопасного и устойчивого интернет-пространства, где технологии служат людям, а не наоборот. Anubis — это пример того, как сообщества и технические эксперты могут объединить усилия для защиты цифровых прав и ресурсов в мире, где искусственный интеллект продолжает активно развиваться и менять правила игры.
