开源产品与代码仓库

85 个

网页采集与提取同赛道商业产品 →领域行情 →首屏与设计风格 →

开源项目 · 按 Stars
项目Stars操作
screenshotlayerCOSS为开发者和初创企业提供可定制的网站截图 API，可快速生成 PNG、JPEG 和 GIF 截图。58.9K
scrapestackCOSS为需要规模化采集网页数据的用户提供网页抓取 REST API，处理代理 IP 轮换、验证码、地理位置选择和 JavaScript 渲染。58.9K
serpstackCOSS为 SEO 机构、营销人员及各类企业提供实时搜索结果抓取 API，支持按地点、语言和设备定制查询并以 JSON 或 CSV 返回数据。58.9K
ChangeDetectionCOSSchangedetection.io 为购物者、优惠搜寻者和数据记者监控网页变化、商品补货与价格，并通过多种渠道发送提醒，支持云端订阅和开源自托管。35.8K
Crawl4AIMCP为开发者和智能代理提供网页抓取、搜索及结构化数据提取，可使用云端 API 或自行托管。33.4K
FirecrawlMCP为开发者和 AI 智能体提供网页搜索、抓取和交互 API，将实时网络内容转成 Markdown 或结构化数据。24.5K
MaxunMCP为开发者和非技术团队提供网页数据抓取、提取、搜索与监控工具，并将网站内容转为结构化数据。18.2K
Maxun只需 2 分钟训练机器人，即可自动抓取网页7,024
RSSHub开源 RSS 网络，可搭配 Folo 阅读器使用订阅源。5,480
ScrapeGraphAIMCP为个人、企业和初创公司提供 AI 网页抓取 API，可通过自然语言提取、搜索、爬取和监控网站数据。5,056
ScrapyMCP面向开发者和专业数据采集人员的开源 Python 框架，用于抓取网站、提取结构化数据并扩展到大规模生产环境。4,901
Crawlee面向 JavaScript 和 Python 开发者的开源网页抓取库，可处理拦截、爬取、代理和浏览器操作。3,714
AnyCrawlCOSS为开发者和企业提供网页抓取与爬取服务，将网站内容转换为适用于 AI 模型的结构化数据。1,512
Colly面向 Go 开发者的网页抓取框架，用于提取结构化数据，支持数据挖掘、数据处理和归档。1,291
WaterCrawlCOSS为开发者和团队提供网页抓取、内容提取、搜索及结构化处理工具。990
SpiderMCP为 AI 代理和 RAG 流程提供网页抓取、爬取与搜索 API，并返回干净的 Markdown 或 JSON。759
AgentQLCOSS为构建 AI 网页代理和数据工作流的开发者及团队提供网页交互、结构化数据提取与自动化工具。646
Titan Network为个人提供闲置设备资源变现服务，并为企业提供去中心化网络数据采集和基础设施服务。638
HeadlessXMCP面向开发者和运营人员的可自托管网页抓取平台，提供反检测网页提取、搜索及 YouTube 数据采集，并支持 API、命令行和远程 MCP 工作流。604
Sosse基于 Selenium 的自托管抓取系统与搜索引擎，用于深度抓取与网页归档。411
BrowseractMCP面向需要采集网页数据的用户和 AI 智能体的无代码 AI 网页抓取平台，可构建、运行并集成网页数据采集流程。367
AnakinMCPAnakin.io 为 AI 智能体和开发者提供网页抓取、搜索、数据提取及网站操作 API。347
ParseraCOSSAI 网站数据提取工具，用户可通过提示词从网站提取结构化数据并生成自定义数据集。255
Deepcrawl面向代理的免费开源工具包，可将网站数据处理为适合 AI 使用的数据。251
WebclawMCP基于 Rust 的开源网页抓取与提取 API，专为大语言模型和 AI Agent 将公开网页转换为 Markdown、结构化 JSON 和纯文本。209
XCrawlMCP为开发者、营销人员和企业提供网页抓取 API，可将网站内容提取为结构化数据，并支持搜索结果抓取、爬取和站点映射。166
FetchFox用 AI 抓取任何内容58
猫头鹰智能网页订阅COSS帮助个人和企业订阅网页变化，并通过多种通知方式及时掌握价格、库存、内容等动态。51
SadCaptchaCOSS专用于自动识别和绕过 TikTok 与 Shopee 各类验证码挑战的 API 和自动化工具。35
Supacrawler用于抓取互联网任意内容的无头浏览器工具28
第 1 / 3 页 · 当前展示 1–30 / 共 85 个开源项目