Сборщик

Скрапер X Posts

Всё, что опубликовал аккаунт: текст, даты, лайки, репосты, ответы, цитаты, закладки, хештеги, упоминания и настоящие ссылки из-под обёрток t.co, по строке на пост.

Содержание

Что он собирает

СоцсетиЖелателен прокси

Всё, что опубликовал аккаунт: текст, даты, лайки, репосты, ответы, цитаты, закладки, хештеги, упоминания и настоящие ссылки из-под обёрток t.co, по строке на пост. Это скрапер, а значит весь договор такой: заполните форму — и вернётся одна таблица. Окно браузера не открывается, слоты автоматизаций вашего тарифа не тратятся, а запросы уходят по обычному HTTP с TLS-отпечатком настоящего браузера.

На объёме этот источник чувствителен к тому, откуда уходит запрос, поэтому выберите прокси при запуске — это совет в форме, а не запрет: запуск без прокси всё равно начнётся. Как бы ни ушёл запрос, каждая строка это фиксирует — см. служебные колонки ниже.

Что вы даёте — 6

Форма, которую рисует приложение, прочитанная из самой карточки. Каждая подсказка ниже — та же, что стоит рядом с этим полем в диалоге запуска, так что здесь нет описания продукта, написанного отдельно от него.

Один ответ, без которого запуск не начнётся

twitterHandles
Accounts · list · обязательное

nasa, @nasa, the profile URL or a link to one of its posts all work. Each account is walked separately and the rows are pooled into one table, labelled by whose timeline they came from.

Всё остальное — по желанию

maxItems
Posts per account · number

Walked twenty at a time, so this rounds up to the next twenty. A protected account returns none however high this is set, and X stops serving a timeline long before it reaches the whole archive.

onlyPostsNewerThan
Only the last N days · number

Filters posts already collected, so it costs no extra request. Leave empty for everything the walk reaches.

minimumFavorites
Minimum likes · number
minimumRetweets
Minimum reposts · number
minimumReplies
Minimum replies · number

Что вернётся — колонок: 27

Один датасет на запуск — типизированная таблица, которая принадлежит вашему рабочему пространству: её можно сортировать, фильтровать, править прямо в сетке, выгружать целиком или читать через локальный API. Вот колонки, с которыми она создаётся.

Колонок, помеченных как может быть пустой: 4. Это факт о самой записи, а не о сборщике — пост без отметки места, аккаунт без категории бизнеса, — и об этом сказано вслух, чтобы пустая ячейка не читалась как сломанный скрапер. Колонку, которой в ответе не бывает вовсе, удаляют на стороне каталога, а не поставляют пустой, так что здесь нет ничего декоративного.

Из X Posts — колонок: 23

КлючКолонкаТип
textPostlongText
urlLinkurl
createdAtPosteddatetime
likeCountLikesnumber
retweetCountRepostsnumber
replyCountRepliesnumber
quoteCountQuotesnumber
bookmarkCountBookmarksnumber
mediaCountMediaможет быть пустойnumber
hashtagsHashtagsможет быть пустойtext
mentionsMentionsможет быть пустойtext
linksLinksможет быть пустойtext
langLanguagetext
isQuoteQuote postselect
possiblySensitiveSensitiveselect
conversationIdThread IDtext
tweetIdPost IDtext
authorHandleAuthortext
authorNameAuthor nametext
authorIdAuthor IDtext
authorFollowersAuthor followersnumber
authorVerifiedAuthor verifiedselect
searchTermWhose timelinetext

Пишет каждый скрапер — колонок: 4

Одни и те же четыре на каждой карточке, чтобы таблица и через несколько месяцев могла ответить, откуда взялись её строки: из какого сервиса, когда, с личностью какого профиля уходили запросы и был ли выполнен вход.

КлючКолонкаТип
platformPlatformtext
collected_atCollected atdatetime
profileCollected byprofile
logged_inSigned inselect

Четыре способа запустить

Вкладка «Скраперы». Выберите карточку, заполните форму, нажмите «Старт». Каждый запуск отсюда создаёт новую таблицу, названную по тому, что вы искали, и по времени запуска. Хотите — сначала проверьте: скрапер соберёт одну страницу, ничего не запишет и покажет, какие колонки вернулись заполненными.

Попросите ассистента. У него есть весь каталог, поэтому эта карточка — фраза, а не форма. Он заполнит параметры выше из того, что вы сказали, и покажет их вам до запуска.

Через MCP или локальный API. Та же карточка, но из кодового агента: argus_run_scraper на MCP-сервере или POST http://127.0.0.1:39219/v1/scrapers/run в локальном API. Рядом лежит пример вызова, который ничего не записывает.

argus_run_scraper — X Posts
{
  "kind": "x_tweets",
  "inputs": {
    "twitterHandles": [
      "…"
    ]
  }
}

Шагом внутри сценария. Шаг Run scraper ставит этот сборщик в середину автоматизации — собрать, отфильтровать, разослать — и дерево всё так же не открывает при этом ни одного окна. Это ещё и единственный вызывающий, который может отменить правило «таблица на запуск»: если указать ему таблицу по имени, он создаст её с колонками выше, когда её нет, и дальше будет складывать туда каждый запуск — дописывая строки или обновляя их на месте по колонке, которую вы выбрали для сопоставления. Следующему шагу он передаёт имя таблицы, её идентификатор и число строк.

Где он останавливается

Управлять страницей он не станет. Всё, чему нужен настоящий браузер — сайт без списочной точки под капотом или любая работа с вашим собственным аккаунтом, — это автоматизация, и это другой инструмент, а не худшая версия этого.

Он никуда не входит. Чтение публичной страницы без входа — устоявшаяся позиция: Bright Data собирала данные Meta без входа и выиграла, hiQ собирала LinkedIn со входом и проиграла. Поэтому эта карточка не просит аккаунта и не держит его.

Остальные карточки X

Карточка на задачу, а не на сервис: профили, посты и люди вокруг них — три коллекции с тремя схемами.