開源產品與程式碼倉庫

85 個

網頁採集與提取同市場領域商業產品 →領域行情 →首屏畫面與設計風格 →

開源專案 · 按 Stars
專案Stars操作
serpstackCOSS為 SEO 機構、行銷人員及各類企業提供即時搜尋結果抓取 API，支援按地點、語言和設備客製化查詢並以 JSON 或 CSV 返回資料。58.9K
scrapestackCOSS為需要規模化採集網頁資料的使用者提供網頁抓取 REST API，處理代理 IP 輪換、驗證碼、地理位置選擇和 JavaScript 渲染。58.9K
ChangeDetectionCOSSchangedetection.io 為購物者、優惠搜尋者和資料記者監控網頁變化、商品補貨與價格，並通過多種管道發送提醒，支援雲端訂閱和開源自託管。35.8K
Crawl4AIMCP為開發者和智慧代理提供網頁抓取、搜尋及結構化資料提取，可使用雲端 API 或自行託管。33.4K
FirecrawlMCP為開發者和 AI 智慧體提供網頁搜尋、抓取和互動 API，將即時網路內容轉成 Markdown 或結構化資料。24.5K
MaxunMCP為開發者和非技術團隊提供網頁資料抓取、提取、搜尋與監控工具，並將網站內容轉為結構化資料。18.2K
Maxun只需 2 分鐘訓練機器人，即可自動抓取網頁7,024
RSSHub開源 RSS 網路，可搭配 Folo 閱讀器使用訂閱源。5,480
ScrapeGraphAIMCP為個人、企業和初創公司提供 AI 網頁抓取 API，可通過自然語言提取、搜尋、爬取和監控網站資料。5,056
ScrapyMCP面向開發者和專業資料採集人員的開源 Python 框架，用於抓取網站、提取結構化資料並擴展到大規模生產環境。4,901
Crawlee面向 JavaScript 和 Python 開發者的開源網頁抓取庫，可處理攔截、爬取、代理和瀏覽器操作。3,714
AnyCrawlCOSS為開發者和企業提供網頁抓取與爬取服務，將網站內容轉換為適用於 AI 模型的結構化資料。1,512
Colly面向 Go 開發者的網頁抓取框架，用於提取結構化資料，支援資料挖掘、資料處理和歸檔。1,291
WaterCrawlCOSS為開發者和團隊提供網頁抓取、內容提取、搜尋及結構化處理工具。990
SpiderMCP為 AI 代理和 RAG 流程提供網頁抓取、爬取與搜尋 API，並返回乾淨的 Markdown 或 JSON。759
AgentQLCOSS為構建 AI 網頁代理和資料工作流的開發者及團隊提供網頁互動、結構化資料提取與自動化工具。646
Titan Network為個人提供閒置設備資源變現服務，並為企業提供去中心化網路資料採集和基礎設施服務。638
HeadlessXMCP面向開發者和營運人員的可自託管網頁抓取平台，提供反檢測網頁提取、搜尋及 YouTube 資料採集，並支援 API、命令列和遠程 MCP 工作流。604
WhatsMyNameApp幫助個人、創作者、企業及OSINT專業人士跨1000多個平台搜尋使用者名、發現並管理線上身份。432
Sosse基於 Selenium 的自託管抓取系統與搜尋引擎，用於深度抓取與網頁歸檔。411
BrowseractMCP面向需要採集網頁資料的使用者和 AI 智慧體的無程式碼 AI 網頁抓取平台，可構建、運行並整合網頁資料採集流程。367
AnakinMCPAnakin.io 為 AI 智慧體和開發者提供網頁抓取、搜尋、資料提取及網站操作 API。347
ParseraCOSSAI 網站資料提取工具，使用者可通過提示詞從網站提取結構化資料並生成自定義資料集。255
Deepcrawl面向代理的免費開源工具包，可將網站資料處理為適合 AI 使用的資料。251
WebclawMCP基於 Rust 的開源網頁抓取與提取 API，專為大語言模型和 AI Agent 將公開網頁轉換為 Markdown、結構化 JSON 和純文本。209
XCrawlMCP為開發者、行銷人員和企業提供網頁抓取 API，可將網站內容提取為結構化資料，並支援搜尋結果抓取、爬取和站點映射。166
FetchFox用 AI 抓取任何內容58
猫头鹰智能网页订阅COSS幫助個人和企業訂閱網頁變化，並通過多種通知方式及時掌握價格、庫存、內容等動態。51
SadCaptchaCOSS專用於自動識別和繞過 TikTok 與 Shopee 各類驗證碼挑戰的 API 和自動化工具。35
Supacrawler用於抓取網際網路任意內容的無頭瀏覽器工具28
第 1 / 3 頁 · 當前展示 1–30 / 共 85 個開源專案