Сбор без браузера

Также встречается как: скрапинг без браузера, HTTP-скрапинг, сбор по HTTP.

Сбор без браузера просит у сайта данные так же, как это делает его собственный фронтенд: обычный HTTP-запрос к эндпоинту, который возвращает список, и уже структурированный ответ. Ничего не отрисовывается, скрипты не выполняются, движок не запускается. Это самый быстрый способ собрать, с большим отрывом — секунды там, где ведомый браузер тратит минуты, — потому что почти всё, на что браузер тратит время, вам и не требовалось.

Опознают такой сбор не по отсутствию окна, а по форме запроса. HTTP-клиент по умолчанию заявляет о себе ещё до первого байта ответа: его рукопожатие TLS не браузерное, порядок заголовков не браузерный, и оба измеряются вообще вне страницы, — поэтому здесь важно привести в порядок отпечаток TLS, а не строку user-agent. Сборщики Argus имитируют рукопожатие и набор заголовков настоящего браузера и выходят через собственный прокси профиля, так что запрос обычен по обоим признакам.

Ограничение честное: это работает только там, где структурированный эндпоинт есть. Когда данные существуют лишь в отрисованном HTML или когда задача оперирует вашим собственным аккаунтом, ответ — настоящая браузерная сессия. Argus проводит эту границу как два инструмента, а не один: готовые сборщики для названных сервисов, у которых эндпоинт есть, и автоматизации, ведущие настоящий профиль, для всего остального.