В современную эпоху цифровых технологий библиотеки сталкиваются с уникальными вызовами, связанными с обеспечением безопасности своих онлайн-ресурсов и поддержанием высокой скорости работы для пользователей. Duke University Libraries (DUL) не стали исключением. С ростом активности автоматических ботов, особенно тех, что используют искусственный интеллект для сбора информации, появилось ощутимое давление на их цифровые платформы. В ответ на эти вызовы сотрудники Duke University Libraries запустили пилотный проект с использованием Anubis — настраиваемого веб-приложения, выполняющего роль фаервола (WAF), способного противостоять нежелательным ботам и улучшать качество обслуживания конечных пользователей. Пилотный проект длился с начала мая по середину июня 2025 года и оказался успешным в борьбе с агрессивными бот-атаками, заметно повысив стабильность и скорость работы ключевых библиотечных приложений.
В рамках проекта основные цифровые платформы библиотеки — Duke Digital Repository, Archives & Manuscripts и Books & Media Catalog — неоднократно подвергались тяжёлым нагрузкам из-за постоянных скрейпинговых атак ботов. Эти атаки приводили к длительным простоям и ухудшению пользовательского опыта, поскольку реальные посетители сталкивались с проблемами доступа и сниженной производительностью. Anubis сумел стать эффективным инструментом, который позволил блокировать около 90% всего вредоносного трафика. Свыше четырех миллионов нежелательных HTTP-запросов, поступающих ежедневно, теперь фильтруются до того, как они начнут влиять на работу сервисов. Благодаря этому ресурсы стали доступнее и быстрее для обычных пользователей, что повысило удовлетворенность и качество взаимодействия.
Кроме того, Anubis был настроен с учётом необходимости сохранять доступ для известных и хорошо себя зарекомендовавших ботов, таких как поисковые роботы Google, Bing и Internet Archive. Эта селективность позволяет сохранять индексацию и распространение библиотечных данных без ущерба для безопасности. Особое внимание было уделено и удобству законных пользователей: если человек оказался заблокирован ошибочно, он может сообщить об этом через специальную форму обратной связи, что помогает оперативно улучшать конфигурацию фильтров и минимизировать ложные срабатывания. В ходе пилотного проекта было получено 12 таких откликов всего за неделю, причем наиболее частой причиной блокировок оказалась деактивация cookie в браузере пользователя, что позволяет легче выявлять подозрительный трафик. Помимо непосредственной технической эффективности Anubis показал значительную пользу для общего функционирования библиотечных сервисов.
Устранение чрезмерной загрузки серверов позволило свести к минимуму время простоя платформ и ускорить загрузку страниц для всех посетителей. Это повышение производительности не только улучшило повседневную работу пользователей, но и привлекло внимание к возможностям современных WAF-решений, адаптируемых под конкретные нужды организаций. Команда Duke University Libraries продолжит развивать и модифицировать конфигурации Anubis, чтобы адаптировать его под новые угрозы и поддерживать баланс между защитой и доступностью. Это говорит о том, что борьба с ботами и автоматизированным нежелательным трафиком — динамичный процесс, требующий постоянного мониторинга и совершенствования. Итоги проекта дают ценный опыт, который может быть применён не только в библиотечном деле, но и в других областях с высокими требованиями к безопасности и качеству обслуживания в интернете.
Anubis доказал свою эффективность как инструмент, способный помочь организациям контролировать вызовы, связанные с эволюцией цифровых угроз, обеспечивая при этом комфорт и надежность для реальных пользователей. В конечном итоге, внедрение таких систем не только защищает цифровой контент, но и способствует его более широкому и качественному использованию, что является ключевой задачей современных библиотек и организаций, работающих с информацией в сети.
