Сборщик
Скрапер X Posts
Всё, что опубликовал аккаунт: текст, даты, лайки, репосты, ответы, цитаты, закладки, хештеги, упоминания и настоящие ссылки из-под обёрток t.co, по строке на пост.
Содержание
Что он собирает
Всё, что опубликовал аккаунт: текст, даты, лайки, репосты, ответы, цитаты, закладки, хештеги, упоминания и настоящие ссылки из-под обёрток t.co, по строке на пост. Это скрапер, а значит весь договор такой: заполните форму — и вернётся одна таблица. Окно браузера не открывается, слоты автоматизаций вашего тарифа не тратятся, а запросы уходят по обычному HTTP с TLS-отпечатком настоящего браузера.
На объёме этот источник чувствителен к тому, откуда уходит запрос, поэтому выберите прокси при запуске — это совет в форме, а не запрет: запуск без прокси всё равно начнётся. Как бы ни ушёл запрос, каждая строка это фиксирует — см. служебные колонки ниже.
Что вы даёте — 6
Форма, которую рисует приложение, прочитанная из самой карточки. Каждая подсказка ниже — та же, что стоит рядом с этим полем в диалоге запуска, так что здесь нет описания продукта, написанного отдельно от него.
Один ответ, без которого запуск не начнётся
- twitterHandles
- Accounts · list · обязательное
nasa, @nasa, the profile URL or a link to one of its posts all work. Each account is walked separately and the rows are pooled into one table, labelled by whose timeline they came from.
Всё остальное — по желанию
- maxItems
- Posts per account · number
- onlyPostsNewerThan
- Only the last N days · number
- minimumFavorites
- Minimum likes · number
- minimumRetweets
- Minimum reposts · number
- minimumReplies
- Minimum replies · number
Walked twenty at a time, so this rounds up to the next twenty. A protected account returns none however high this is set, and X stops serving a timeline long before it reaches the whole archive.
Filters posts already collected, so it costs no extra request. Leave empty for everything the walk reaches.
Что вернётся — колонок: 27
Один датасет на запуск — типизированная таблица, которая принадлежит вашему рабочему пространству: её можно сортировать, фильтровать, править прямо в сетке, выгружать целиком или читать через локальный API. Вот колонки, с которыми она создаётся.
Колонок, помеченных как может быть пустой: 4. Это факт о самой записи, а не о сборщике — пост без отметки места, аккаунт без категории бизнеса, — и об этом сказано вслух, чтобы пустая ячейка не читалась как сломанный скрапер. Колонку, которой в ответе не бывает вовсе, удаляют на стороне каталога, а не поставляют пустой, так что здесь нет ничего декоративного.
Из X Posts — колонок: 23
| Ключ | Колонка | Тип |
|---|---|---|
| text | Post | longText |
| url | Link | url |
| createdAt | Posted | datetime |
| likeCount | Likes | number |
| retweetCount | Reposts | number |
| replyCount | Replies | number |
| quoteCount | Quotes | number |
| bookmarkCount | Bookmarks | number |
| mediaCount | Mediaможет быть пустой | number |
| hashtags | Hashtagsможет быть пустой | text |
| mentions | Mentionsможет быть пустой | text |
| links | Linksможет быть пустой | text |
| lang | Language | text |
| isQuote | Quote post | select |
| possiblySensitive | Sensitive | select |
| conversationId | Thread ID | text |
| tweetId | Post ID | text |
| authorHandle | Author | text |
| authorName | Author name | text |
| authorId | Author ID | text |
| authorFollowers | Author followers | number |
| authorVerified | Author verified | select |
| searchTerm | Whose timeline | text |
Пишет каждый скрапер — колонок: 4
Одни и те же четыре на каждой карточке, чтобы таблица и через несколько месяцев могла ответить, откуда взялись её строки: из какого сервиса, когда, с личностью какого профиля уходили запросы и был ли выполнен вход.
| Ключ | Колонка | Тип |
|---|---|---|
| platform | Platform | text |
| collected_at | Collected at | datetime |
| profile | Collected by | profile |
| logged_in | Signed in | select |
Четыре способа запустить
Вкладка «Скраперы». Выберите карточку, заполните форму, нажмите «Старт». Каждый запуск отсюда создаёт новую таблицу, названную по тому, что вы искали, и по времени запуска. Хотите — сначала проверьте: скрапер соберёт одну страницу, ничего не запишет и покажет, какие колонки вернулись заполненными.
Попросите ассистента. У него есть весь каталог, поэтому эта карточка — фраза, а не форма. Он заполнит параметры выше из того, что вы сказали, и покажет их вам до запуска.
Через MCP или локальный API. Та же карточка, но из кодового агента: argus_run_scraper на MCP-сервере или POST http://127.0.0.1:39219/v1/scrapers/run в локальном API. Рядом лежит пример вызова, который ничего не записывает.
{
"kind": "x_tweets",
"inputs": {
"twitterHandles": [
"…"
]
}
}Шагом внутри сценария. Шаг Run scraper ставит этот сборщик в середину автоматизации — собрать, отфильтровать, разослать — и дерево всё так же не открывает при этом ни одного окна. Это ещё и единственный вызывающий, который может отменить правило «таблица на запуск»: если указать ему таблицу по имени, он создаст её с колонками выше, когда её нет, и дальше будет складывать туда каждый запуск — дописывая строки или обновляя их на месте по колонке, которую вы выбрали для сопоставления. Следующему шагу он передаёт имя таблицы, её идентификатор и число строк.
Где он останавливается
Управлять страницей он не станет. Всё, чему нужен настоящий браузер — сайт без списочной точки под капотом или любая работа с вашим собственным аккаунтом, — это автоматизация, и это другой инструмент, а не худшая версия этого.
Он никуда не входит. Чтение публичной страницы без входа — устоявшаяся позиция: Bright Data собирала данные Meta без входа и выиграла, hiQ собирала LinkedIn со входом и проиграла. Поэтому эта карточка не просит аккаунта и не держит его.
Остальные карточки X
Карточка на задачу, а не на сервис: профили, посты и люди вокруг них — три коллекции с тремя схемами.