开源产品与代码仓库

85 个

网页采集与提取同赛道商业产品 →领域行情 →首屏与设计风格 →

开源项目 · 按 Stars
项目Stars操作
ScavioMCP面向 AI 智能体和开发者的多平台网页抓取 API，能从社交、搜索、电商等平台提取结构化 JSON 数据。GitHub
GMaps ScraperMCP在线谷歌地图数据采集工具，无需安装插件即可自动批量提取商家的电话、邮箱、地址和评分等线索。GitHub
Webcrawler APICOSS为开发者和 AI 团队提供网页抓取服务，将网站内容提取为可供 AI 代理使用的干净 Markdown。GitHub
AI Mode APICOSS专为 AI Agent 设计的 API，用于获取 Google 自动补全建议和实时搜索结果（SERP 数据）。GitHub
PangolinfoMCP通过API、MCP、AI技能和数据追踪器为卖家、开发者及AI团队提供实时结构化的亚马逊数据。GitHub
ProxysellerCOSS提供住宅、移动、IPv4、IPv6和ISP代理，供个人及企业团队用于数据采集、广告监测和市场研究。GitHub
BytesFlowsCOSS为需要采集公开网页数据的团队提供可按国家、城市和ASN定位的住宅代理服务。GitHub
SerpexMCP为 AI 智能体、LLM 应用及开发者和企业提供实时搜索、网页内容提取和结构化数据 API。GitHub
FinedataMCPFineData.ai 为开发者、初创公司、研究人员及 AI 代理提供网页抓取 API 和 MCP 服务，将网页内容提取为结构化数据。GitHub
CaptureCOSS面向开发者和企业的网页自动化 API，可用于截图、生成 PDF、提取内容和元数据以及控制浏览器会话。GitHub
Cockroach CrawlerMCP为智能体和开发者提供受明确网络与资源边界约束的公共网页爬取、渲染和结构化数据提取工具。GitHub
AgentRenderMCP为ChatGPT用户和其他MCP客户端提供公共网页截图、PDF生成和结构化提取，并附带渲染回执。GitHub
Spyweb面向需要持续监控和抓取网页的用户的轻量引擎，支持脚本化数据提取、去重和通知，可部署在服务器或桌面上。GitHub
ReadGZHMCP为个人用户、开发者和小型 AI 应用提取并清洗微信公众号文章，生成 AI 可访问的页面，并提供缓存、接口和智能摘要。GitHub
HasDataCOSS为产品团队提供网页抓取 API 和无代码抓取器，把网页转成结构化 JSON 或 Markdown。GitHub
ValendataMCP帮助需要网站数据的用户将网页操作转为可调用、可定时运行的 API，返回结构化数据并在网站变化后自动修复。GitHub
FrameFetchMCP为开发者、AI 智能体和普通用户提供按调用付费的视频数据接口，可从社交视频链接提取元数据、转录、画面和屏幕文字，并生成摘要。GitHub
TheCrawlerCOSS为企业和开发者提供网页抓取与 AI 结构化提取 API，将网页转换为经过页面内容验证的 JSON 等格式，并提供包月吞吐量或预付页面计费。GitHub
OllagraphMCP为 AI 智能体和开发团队提供统一 API，用于网页抓取、爬取、搜索、结构化提取、浏览器自动化和网站审计。GitHub
LinkDigestMCP供 AI 代理按主题搜索并读取小红书、抖音、TikTok、YouTube、X 等公开内容，整理成可核验的结构化文本数据。GitHub
EnConvertMCP为开发者和 AI 智能体提供网页读取、文件转换及数据提取接口，并为每次网页读取给出质量评分和失败原因。GitHub
domscoutMCP为开发者和团队提供基于真实 Chromium 的浏览器 API，帮助软件和 AI 工作流获取网页的 Markdown、DOM 数据、截图或 PDF。GitHub
FastcrawlMCP为 AI 智能体提供网页抓取 API、MCP 工具和命令行工具，将包含 JavaScript 的网页渲染为干净的 Markdown，并支持结构化提取与定时变更监控。GitHub
DiffbotCOSS为构建智能系统的开发者和团队提供网页结构化提取、网站抓取、自然语言分析、知识图谱查询和可自托管的网页搜索。GitHub
Veed CrawlMCPVeedcrawl 为开发者和团队提供社交视频搜索、转录、元数据及内容提取能力，供 AI 代理和应用使用。GitHub
第 3 / 3 页 · 当前展示 61–85 / 共 85 个开源项目