Библиотека
Скраперы
Готовых сборщиков: 29 — разложены по тому, откуда они собирают. Заполните форму, выберите прокси, через который уйдут запросы, — и строки окажутся в отдельной таблице, безо всякого окна браузера.
Содержание
Что такое скрапер
У скрапера одна задача и очень короткий договор: на входе — параметры, на выходе — одна таблица, и никакого браузера. Вы наводите его на что-то публичное — на поиск, на аккаунт, на место — и строки и есть весь результат.
Именно этим он отличается от автоматизации, которая управляет настоящим окном браузера на одном из ваших профилей и умеет что угодно. Сценарий, который работает с вашими собственными аккаунтами, — это автоматизация. Сборщик, наведённый на чужую публичную страницу, — это скрапер, и он ходит по обычному HTTP с TLS-отпечатком настоящего браузера. Поэтому поиск по Google Maps, который в окне занимал восемь минут, теперь занимает около шести секунд вообще без окна.
Скраперы не занимают ни одного слота автоматизаций в вашем тарифе, никогда не открывают окно браузера, и все, кроме 2, собирают данные без входа в аккаунт. Исключения перечислены ниже, подключать их или нет — решаете вы, и в каждой строке скрапер записывает, каким способом она была собрана.
Все скраперы: 29
Карточка на задачу, а не на сервис: у сервиса их обычно несколько, потому что его профили, его посты и те, кто на него подписан, — три разные коллекции с тремя разными формами. Всё, что ниже, читается из каталога самого приложения, так что это список того, что действительно есть, а не его описание. Каждое название ведёт на страницу карточки — с её настоящей формой и всеми колонками, с которыми создаётся её таблица.
| Скрапер | Что вы даёте | Колонок | Аккаунт | Прокси |
|---|---|---|---|---|
| Google Keyword Ideas | Seeds | 7 | Не нужен | По желанию |
| YouTube Keyword Ideas | Seeds | 7 | Не нужен | По желанию |
| Bing Keyword Ideas | Seeds | 6 | Не нужен | По желанию |
| Amazon Keyword Ideas | Seeds | 6 | Не нужен | По желанию |
| Google Trending Now | Countries | 11 | Не нужен | По желанию |
| YouTube Search Results | Keywords | 14 | Не нужен | По желанию |
| Google Search Results | Keywords | 9 | Не нужен | По желанию |
| Google Trends | Keywords | 7 | Не нужен | По желанию |
| YouTube Transcripts | Videos | 10 | Не нужен | По желанию |
| Google Maps | What to find | 47 | Не нужен | По желанию |
| Instagram Profiles | Accounts | 34 | Ваш, один раз | Желателен |
| Instagram Posts | Accounts | 27 | Не нужен | Желателен |
| Instagram Followers | Accounts | 13 | Ваш, один раз | Желателен |
| LinkedIn Profiles | Profiles | 21 | Не нужен | По желанию |
| LinkedIn Companies | Companies | 29 | Не нужен | По желанию |
| LinkedIn Company Posts | Companies | 11 | Не нужен | По желанию |
| LinkedIn Posts | Posts | 21 | Не нужен | По желанию |
| LinkedIn Post Comments | Posts | 10 | Не нужен | По желанию |
| TikTok Profiles | Accounts | 24 | Не нужен | Желателен |
| TikTok Profile Videos | Accounts | 15 | Не нужен | Желателен |
| TikTok Videos | Video URLs | 39 | Не нужен | Желателен |
| X Profiles | Accounts | 24 | Не нужен | По желанию |
| X Posts | Accounts | 27 | Не нужен | Желателен |
| X Post Lookup | Posts | 19 | Не нужен | По желанию |
| Shopify Storefronts | Stores | 22 | Не нужен | По желанию |
| Indeed Jobs | Searches | 27 | Не нужен | Желателен |
| Greenhouse Job Boards | Boards | 16 | Не нужен | По желанию |
| Ashby Job Boards | Boards | 21 | Не нужен | По желанию |
| Lever Job Boards | Boards | 15 | Не нужен | По желанию |
Поиск и SEO
Что люди набирают в поиске, что взлетело сегодня и что уже стоит в выдаче по этим словам.
Все фразы, которыми Google предлагает продолжить ваше исходное слово, — развёрнутые по алфавиту, по вопросительным словам и по словам с покупательским намерением, в порядке самого Google. Несколько сотен реальных запросов из одного слова, без аккаунта и без браузера.
- Вы даёте
- Seeds
- Вы получаете
- Колонок: 7 (настроек: 10)
- Браузер
- Не нужен
Чем YouTube предлагает продолжить ваше исходное слово. По тем же словам список выходит не такой, как у Google: на YouTube приходят не покупать, а смотреть, как это делается. Заголовки и темы, которые стоит снимать каналу, в порядке самого YouTube.
- Вы даёте
- Seeds
- Вы получаете
- Колонок: 7 (настроек: 10)
- Браузер
- Не нужен
То же развёртывание, но по автодополнению Bing — оно же стоит за DuckDuckGo. Дешёвое второе мнение об исходном слове: фразу, которую подсказывают оба движка, люди действительно набирают, а та, что есть только у Bing, часто оказывается незанятой нишей.
- Вы даёте
- Seeds
- Вы получаете
- Колонок: 6 (настроек: 9)
- Браузер
- Не нужен
Что покупатели набирают в Amazon вокруг вашего исходного слова. Самое сильное покупательское намерение из всех источников ключевых слов — за каждым таким запросом стоял человек, готовый потратить деньги, — и формулировки здесь товарные, а не вопросительные.
- Вы даёте
- Seeds
- Вы получаете
- Колонок: 6 (настроек: 9)
- Браузер
- Не нужен
Что страна ищет сегодня и не искала вчера — с приблизительным объёмом от самого Google и новостью, стоящей за каждым запросом. Поставьте карточку на расписание, и таблица станет летописью того, что произошло и когда.
- Вы даёте
- Countries
- Вы получаете
- Колонок: 11 (настройка: 1)
- Браузер
- Не нужен
Видео, которые выходят по ключевому слову, — с просмотрами, каналом, длительностью и возрастом. Передайте сюда слова, найденные карточками Keyword Ideas, и таблица ответит на вопрос, на который те ответить не могут: занимается ли этим уже кто-то и насколько хорошо.
- Вы даёте
- Keywords
- Вы получаете
- Колонок: 14 (настроек: 6)
- Браузер
- Не нужен
Страницы, которые стоят в выдаче по ключевому слову, по порядку, с заголовками и сниппетами. То, чем внутри является любой трекер позиций: направьте карточку на слова, найденные карточками Keyword Ideas, и получите конкурентов по каждому из них.
- Вы даёте
- Keywords
- Вы получаете
- Колонок: 9 (настроек: 4)
- Браузер
- Не нужен
Запросы, набирающие обороты вокруг ключевого слова, с показателем интереса из самого Trends. Единственная карточка здесь, которая показывает измеренный спрос, а не порядок подсказок: по ней видно, где слово растёт, а где просто популярно.
- Вы даёте
- Keywords
- Вы получаете
- Колонок: 7 (настроек: 4)
- Браузер
- Не нужен
Каждая произнесённая в видео реплика, с таймкодом, по строке на субтитр. Направьте карточку на видео, которые уже стоят по вашему ключевому слову, и таблица покажет, о чём они, — сырьё для сценария, который раскроет тему лучше.
- Вы даёте
- Videos
- Вы получаете
- Колонок: 10 (настроек: 2)
- Браузер
- Не нужен
Места
Компании и адреса — из карт и справочников, которые их перечисляют.
Все места, которые возвращает поиск по Картам, разложенные по строкам без единого окна браузера: название, категория, полный почтовый адрес, телефон, сайт, рейтинг, отзывы и — если попросите — адрес электронной почты с сайта самой компании.
- Вы даёте
- What to find
- Вы получаете
- Колонок: 47 (настроек: 13)
- Браузер
- Не нужен
Соцсети
Публичные профили, опубликованные ими посты и те, кто на них подписан.
Вся шапка любого публичного аккаунта: описание, число подписчиков и публикаций, галочка, категория бизнеса и ссылка в биографии, — а если попросите, то и адрес электронной почты с сайта, на который эта ссылка ведёт.
- Вы даёте
- Accounts
- Вы получаете
- Колонок: 34 (настроек: 2)
- Браузер
- Один раз, чтобы войти
Instagram Posts
Желателен проксиВсё, что опубликовал публичный аккаунт, — посты, карусели и reels — с подписями, датами, лайками, комментариями, просмотрами и ссылками на медиа, от свежих к старым, по строке на публикацию.
- Вы даёте
- Accounts
- Вы получаете
- Колонок: 27 (настроек: 4)
- Браузер
- Не нужен
Кто подписан на аккаунт и на кого подписан он сам: у каждого — @-имя, имя, галочка и собственный идентификатор Instagram, по строке на аккаунт, готовые к склейке с таблицей профилей.
- Вы даёте
- Accounts
- Вы получаете
- Колонок: 13 (настроек: 3)
- Браузер
- Один раз, чтобы войти
Человек за любым публичным адресом профиля: имя, краткое описание, город, нынешний работодатель, учебные заведения и число подписчиков, по строке на человека, — всё со страницы, которую LinkedIn отдаёт без аккаунта.
- Вы даёте
- Profiles
- Вы получаете
- Колонок: 21 (настроек: 5)
- Браузер
- Не нужен
Организация за любой публичной страницей компании в LinkedIn: название, описание, слоган, актуальное число сотрудников, сайт и город регистрации, по строке на компанию, — всё со страницы, которую LinkedIn отдаёт без аккаунта.
- Вы даёте
- Companies
- Вы получаете
- Колонок: 29 (настроек: 6)
- Браузер
- Не нужен
Свежие посты с любой публичной страницы компании в LinkedIn: полный текст, заголовок, время публикации и собственный адрес поста, по строке на пост. Читателю без входа LinkedIn встраивает от семи до десяти таких постов, а остальное закрывает стеной, — их карточка и собирает.
- Вы даёте
- Companies
- Вы получаете
- Колонок: 11 (настроек: 4)
- Браузер
- Не нужен
Пост за любым публичным адресом поста в LinkedIn: полный текст, автор, время, общее число реакций, число комментариев и вложенные медиа, по строке на пост, — со страницы, которую LinkedIn отдаёт без аккаунта.
- Вы даёте
- Posts
- Вы получаете
- Колонок: 21 (настроек: 6)
- Браузер
- Не нужен
Те, кто публично прокомментировал пост в LinkedIn: имя, текст комментария, время и число собранных лайков, по строке на комментарий. Читателю без входа LinkedIn показывает первые восемь–десять, остальное закрывает, и никогда не показывает тех, кто только поставил реакцию.
- Вы даёте
- Posts
- Вы получаете
- Колонок: 10 (настроек: 6)
- Браузер
- Не нужен
TikTok Profiles
Желателен проксиАккаунт за любым публичным @-именем в TikTok: имя, описание, ссылка в биографии, число подписчиков, лайков и видео, по строке на аккаунт, — со страницы, которую TikTok отдаёт без аккаунта.
- Вы даёте
- Accounts
- Вы получаете
- Колонок: 24 (настроек: 6)
- Браузер
- Не нужен
TikTok Profile Videos
Желателен проксиДесять последних видео любого публичного аккаунта TikTok: подпись, просмотры, обложка и собственный адрес видео, по строке на видео. Десять — это ограничение TikTok для читателя без входа, а не ограничение карточки.
- Вы даёте
- Accounts
- Вы получаете
- Колонок: 15 (настроек: 4)
- Браузер
- Не нужен
TikTok Videos
Желателен проксиВсё, что TikTok публикует о видео, адрес которого у вас есть: просмотры, лайки, комментарии, пересылки, сохранения и репосты, подпись с её хештегами, звук, автор и его счётчики, по строке на видео.
- Вы даёте
- Video URLs
- Вы получаете
- Колонок: 39 (настроек: 6)
- Браузер
- Не нужен
Аккаунт за @-именем: описание, число подписчиков и подписок, число постов, сайт, местоположение, дата регистрации и собственный идентификатор X, по строке на аккаунт, готовые к склейке с таблицей постов.
- Вы даёте
- Accounts
- Вы получаете
- Колонок: 24 (настройка: 1)
- Браузер
- Не нужен
X Posts
Желателен проксиВсё, что опубликовал аккаунт: текст, даты, лайки, репосты, ответы, цитаты, закладки, хештеги, упоминания и настоящие ссылки из-под обёрток t.co, по строке на пост.
- Вы даёте
- Accounts
- Вы получаете
- Колонок: 27 (настроек: 6)
- Браузер
- Не нужен
Чтение конкретных постов по ссылке или идентификатору: текст, автор, лайки и то, насколько разрослась ветка под ними. По одному запросу на пост — и единственная карточка в каталоге, которой не нужны вообще никакие учётные данные.
- Вы даёте
- Posts
- Вы получаете
- Колонок: 19 (настройка: 1)
- Браузер
- Не нужен
Торговля
Товары, цены и продавцы на маркетплейсах.
Все товары, которые публикует магазин на Shopify: название, цена, цена до скидки, остаток, артикул, поставщик, тип, теги и изображения, по строке на товар, — прямо из каталожного файла самой витрины, без аккаунта и без браузера.
- Вы даёте
- Stores
- Вы получаете
- Колонок: 22 (настроек: 7)
- Браузер
- Не нужен
Вакансии
Позиции, на которые нанимает компания, — с досок вакансий и рекрутинговых систем, которые их публикуют.
Indeed Jobs
Желателен проксиВсе работодатели, которые размещаются по поисковому запросу на Indeed: должность, компания, её рейтинг и число отзывов, локация, вилка зарплаты, тип занятости и давность публикации, по строке на вакансию, без аккаунта и без браузера.
- Вы даёте
- Searches
- Вы получаете
- Колонок: 27 (настроек: 10)
- Браузер
- Не нужен
Все открытые позиции, которые компания публикует в Greenhouse: название, локация, отдел, офис, когда вакансию разместили и когда она последний раз двигалась, по строке на вакансию, — из публичного API самой доски, без аккаунта и без браузера.
- Вы даёте
- Boards
- Вы получаете
- Колонок: 16 (настроек: 5)
- Браузер
- Не нужен
Все открытые позиции, которые компания публикует в Ashby: название, команда, локация, формат работы, опубликованная вилка оплаты и дата размещения, по строке на вакансию, — из публичного API самой доски, без аккаунта и без браузера.
- Вы даёте
- Boards
- Вы получаете
- Колонок: 21 (настроек: 6)
- Браузер
- Не нужен
Все открытые позиции, которые компания публикует в Lever: название, отдел, команда, локация, формат работы и тип занятости, по строке на вакансию, — из публичного API самой доски, без аккаунта и без браузера.
- Вы даёте
- Boards
- Вы получаете
- Колонок: 15 (настроек: 5)
- Браузер
- Не нужен
Как запустить
Откройте вкладку «Скраперы», выберите карточку, заполните форму и нажмите «Старт». Каждый запуск отсюда создаёт новую таблицу, названную по тому, что вы искали, и по времени запуска, и убранную в папку с именем скрапера, — так что два запуска одной карточки никогда не затирают друг друга. Хотите — сначала проверьте: скрапер соберёт одну страницу, ничего не запишет и покажет, какие колонки вернулись заполненными.
Запустить можно и вообще не открывая приложение. У ассистента есть весь каталог, поэтому «собери стоматологов в Роттердаме» — это фраза, а не форма; те же инструменты доступны внешним агентам на MCP-сервере; а шаг Run scraper ставит сборщик внутрь сценария. Этот шаг — единственный вызывающий, который может отменить правило «таблица на запуск»: сам по себе он заводит новую таблицу, как и все остальные, но если указать ему таблицу по имени, он создаст её, если такой нет, и дальше будет складывать туда каждый запуск — дописывая строки или обновляя их на месте по колонке, которую вы выбрали для сопоставления. Тогда сбор по расписанию наращивает одну таблицу, а не оставляет по одной за ночь. В любом случае шаг передаёт дальше имя таблицы, её идентификатор и число строк.
Чего они не делают
Почти ничего здесь не входит в аккаунты. Чтение публичной страницы без входа — устоявшаяся позиция: Bright Data собирала данные Meta без входа и выиграла, hiQ собирала LinkedIn со входом и проиграла. Поэтому карточка, которой нужен аккаунт, переводит вопрос из решённых в открытые, и каждая такая карточка — отдельное решение, а не поведение по умолчанию. Ровно поэтому LinkedIn здесь читается целиком без входа.
Карточек, которые просят аккаунт, всего 2 — и только там, где у сайта не осталось никакого источника без входа, а не там, где вход просто вернул бы больше:
- Instagram Profiles — Instagram больше не отвечает на запрос описания профиля, числа подписчиков и ссылки в биографии, если запрос сделан без входа: он возвращает заглушку. Этой карточке нужен собственный аккаунт, чтобы их прочитать. Всё остальное в Argus по-прежнему собирается без входа.
- Instagram Followers — Список подписчиков — единственное, что Instagram отдаёт только запросу с входом: без входа любая точка, которая его обслуживает, возвращает 401 „login required“, с какого адреса ни спрашивай. Этой карточке нужен собственный аккаунт, и одноразовый здесь — самый подходящий. Всё остальное в Argus по-прежнему собирается без входа.
Но и тогда для сбора не открывается никакое окно браузера. Оно открывается один раз, вручную, чтобы вы вошли; каждый следующий запрос — тот же обычный HTTP, что и у любой другой карточки. Заводите одноразовый аккаунт: автоматический сбор нарушает правила этих сайтов, и аккаунт, который его ведёт, могут заблокировать.
Чего ни один из них не сделает — так это не станет управлять страницей. Всё, чему нужен настоящий браузер — сайт без списочной точки под капотом или любая работа с вашими собственными аккаунтами, — это автоматизация.
Нет здесь и варианта «собери мне вот этот URL». Скрапер — это карточка для конкретного сервиса, написанная и проверенная по ответам именно этого сервиса. Для сайта, которого не покрывает ни одна карточка, соберите автоматизацию.