В современном цифровом мире веб-боты стали неотъемлемой частью интернет-среды. Эти программы, способные имитировать действия человека в интернете, используют множество сайтов для сбора данных, продвижения контента или выполнения различных автоматизированных задач. С другой стороны, владельцы веб-ресурсов постоянно разрабатывают технологии выявления и блокировки ботов, пытаясь сохранить целостность и качество пользовательского опыта. История веб-ботов и методов их защиты — это своего рода непрерывная гонка между злоумышленниками и защитниками, где каждый шаг одной стороны вызывает ответные меры с другой. Важно понять, как развивались эти технологии, чтобы оценить современное состояние веб-безопасности и представить, каким образом сайты распознают настоящих пользователей и отличают их от автоматических систем.
Первые веб-боты представляли собой простые скрипты, которые отправляли HTTP-запросы к сайтам с использованием программ типа curl или wget. В подобном виде бот, запросто выдающий себя через User-Agent, сообщавший о своей принадлежности к curl или wget, был легко распознаваем и блокируем. Однако простой подменой строки User-Agent ботеры пытаются маскироваться под обычных пользователей популярных браузеров. Тем не менее, современные серверы при проверке обращают внимание и на множество других HTTP-заголовков, таких как Accept-Language, Accept-Encoding и многие другие параметры, которые обычный браузер отправляет в каждом запросе. Отсутствие или подозрительное заполнение этих параметров вызывает подозрение, повышая шансы блокировки.
Еще одним важным аспектом в ранней стадии борьбы с ботами была проверка IP-адресов источника трафика. Большинство облачных провайдеров и дата-центров имеют известные диапазоны IP, которые веб-сайты используют для выявления подозрительных запросов, исходящих не от обычных пользователей, а от удаленных серверов с централизованным контролем. Чтобы обойти эту проверку, разработчики ботов применяют прокси-серверы – преимущественно жилые или мобильные, так называемые резидентные прокси, которые предоставляют IP-адреса, ассоциируемые с домашними пользователями. Правда, массовое использование прокси само по себе становится триггером для подозрений, ведь многие открытые прокси имеют плохую репутацию и уже попали в черные списки. Среди прокси особняком стоят мобильные IP: благодаря особенностям сетей мобильных операторов, один IP может использоваться сотнями или даже тысячами пользователей, что затрудняет применение банов и повышает уровень доверия к таким адресам, если только не наблюдается дополнительное подозрительное поведение.
Очередным рубежом защиты стали более глубокие сетевые признаки. Несмотря на то, что HTTP-запросы формируются приложением, транспортный протокол TCP, обеспечивающий доставку пакетов, обрабатывается операционной системой. Разные ОС имеют свои особенности формирования TCP-пакетов — их размер, порядок опций, возможность повторной передачи и другие параметры. Анализируя «TCP-фингерпринтинг», серверы могут с определенной вероятностью определить тип операционной системы клиента. Если при этом User-Agent говорит одно, а TCP-паттерн свидетельствует о другом, это может указывать на использование бота или прокси.
Аналогично работает и TLS-фингерпринтинг: в процессе установления защищенного соединения клиент и сервер обмениваются информацией о поддерживаемых криптографических алгоритмах, версиях протокола и расширениях. Поскольку браузеры и системы по-разному конфигурируют этот список, его анализ позволяет идентифицировать не только ОС, но и сам тип клиента, что значительно осложняет маскировку бота под живого пользователя. Когда технических проверок становится недостаточно, на помощь приходит JavaScript. Современные веб-сайты активно применяют скрипты, которые собирают подробные данные о поведении клиента, характеристиках браузера, а также о свойствах его окружения. Чтобы реализовать полноценное взаимодействие с сайтом и избежать подозрений, бот должен запускать и исполнять JavaScript так же, как настоящий браузер.
Важную роль здесь играют инструменты управления браузером, такие как Selenium, Puppeteer и Playwright. Эти фреймворки позволяют программно контролировать браузер, отдавать ему команды на открытие страниц, взаимодействие с элементами и выполнение скриптов. Однако внедрившись в мир автоматизации, разработчики сайтов пошли дальше и начали выявлять неестественные паттерны в поведении «управляемых» браузеров. Многие боты используют так называемый headless режим работы браузера — режим, в котором браузер функционирует без графического интерфейса. Изначально такие браузеры имели свои отличительные признаки, которые почти сразу стали объектом поиска на сайтах, чтобы выявить роботов.
Различия могли проявляться в неестественных свойствах объекта navigator, отсутствии плагинов, наличии специфических флагов и пользовательских настроек. Потребовалось немало усилий ботоделам, чтобы «запломбировать» эти утечки, подделать параметры и сделать обработку JavaScript максимально естественной. В 2023 году Google представил новый headless режим для Chrome, который работает на базе полноценного движка «реального» браузера, что существенно повысило сложности обнаружения автоматических клиентов при помощи старых приемов. Однако даже если основной браузерный движок выглядит натурально, главным каналом выявления становятся управляющие фреймворки, такие как Selenium и Playwright. Они, в силу особенностей своего внутреннего API и шаблонов запуска, оставляют уникальный след, по которому опытный защитник распознает автоматизацию.
По умолчанию данные инструменты применяют специфические версии браузера и наборы флагов, которые изменяют поведение и заставляют браузер отключать некоторые функции. К примеру, отключение фоновой загрузки или lazy loading для iframe, которые влияют на показатели производительности и недоступны обычным пользователям. Одним из интересных механизмов защиты стала техника, связанную с IPC-флудингом. В Chrome каждый вкладке соответствует свой процесс, а обмен сообщениями между процессами (Inter-process Communication) регулируется ограничениями, призванными предотвращать чрезмерную нагрузку. Используя JavaScript, сайт может создать серию таких сообщений и проверить, отключена ли у клиента защита от флудинга.
Несомненно, отключение таких предохранителей указывает на неестественное поведение — частый признак использования автоматизированных браузеров. Далее, использование JavaScript и новых возможностей браузеров позволило выявлять, применяются ли прокси. Latency-тесты позволяют выявить задержки между клиентом и сервером при объединении нескольких проксизвеньев. С помощью технологий WebRTC сайты могут получать реальный IP-адрес клиента, а не его прокси, из-за особенностей протокола и UDP. Если IP, который приходит через WebRTC, не совпадает с тем, с которого пришел HTTP-запрос, это служит тревожным сигналом.
Еще одним дополнительным барьером стало обнаружение DNS-утечек. Запросы к DNS через браузер можно отслеживать, анализируя разрешения необычных поддоменов, что позволяет убедиться, совпадает ли география резолвера с предполагаемой локацией IP-адреса. Различия указывают на наличие промежуточных прокси или VPN. Наконец, простое сравнение часового пояса, получаемого через JavaScript, и предполагаемого по IP – еще один довольно простой метод выявления аномалий. Во всех этих технических мерах защиты самым понятным и при этом действенным методом остается использование капч.
Суть капчи — предложить челлендж, легкий для реального человека и сложный для автомата. Современные капчи ушли далеко вперед от привычных искаженных букв на картинках. Поведенческие капчи, такие как Google reCAPTCHA и Cloudflare Turnstile, анализируют огромное количество параметров, включая движение мыши, последовательность нажатий, работу JavaScript, а также поведение браузера в целом. При этом для преодоления барьера боты нередко прибегают к сервисам, где настоящие люди за небольшую плату решают капчи вручную, что усложняет борьбу на уровне только алгоритмов. Интересной новацией стали капчи, основанные на концепции proof-of-work, при которой и человек, и бот должны выполнить определенное вычисление.
Это не ставит полной преграды боту, но может дорого обходиться при массовых атаках, снижая рентабельность подобных действий. Помимо технических проверок, все активнее развивается поведенческий анализ клиентов. Человеческое поведение на сайте характеризуется природной нерегулярностью, ошибками, характерными задержками и неправильными движениями мыши. Боты часто действуют слишком быстро и точно: быстрое перемещение курсора в прямой линии, нажатия строго в центр элементов, идеальные интервалы между клавишами — все это указывает на искусственное происхождение действий. Для выявления сложных ботов применяются модели машинного обучения, обученные на реальных данных о поведении пользователей и автоматических программ.
