Scrapy
同类框架，Scrapling 的 Spider API 明显参照 Scrapy 的设计
前者是调度与去重为主的爬取框架，不含隐身浏览器与反爬处理；Scrapling 把请求层、渲染层、解析层都包进来了
自动排版把爬虫需要的一整套东西（请求、隐身浏览器、解析、并发、代理、导出）收进一个库，并额外给 AI agent 一个 MCP 入口。
项目介绍
Scrapling 是一个 Python 爬虫框架，口号是“从单次请求到全站采集都能处理”。它把爬虫的常见环节集成到一个库里：Fetcher 负责快速 HTTP 请求（可伪装浏览器 TLS 指纹、支持 HTTP/3），StealthyFetcher 通过 Playwright/Chrome 处理动态渲染与反爬，解析侧支持 CSS/XPath/文本/正则以“相似元素”追踪在网站改版后重新定位元素；再往上是 Scrapy 风格的 Spider：并发控制、按域限速、AutoThrottle（根据站点响应自动调延迟，被限流时加倍或按 Retry-After 等待）、暂停与恢复、流式输出，以及内置的 JSON/JSONL/CSV/XML 导出和多种现成模板（含 Shopify 商品采集）。它还支持 robots.txt 遵守开关、代理轮换、CDP 接远程浏览器、记录页面背后的 API 响应；对 AI 场景提供 MCP server 与 Agent Skill，并提供一行把页面转成干净 Markdown 的能力。
主要应用领域
企业自有网站/公开目录的价格与库存监测；把行业公开数据定期采集成结构化表格；把政策公告、竞品页面转成可直接检索的 Markdown 语料，供内部知识库或 RAG 使用。
关键技术
Python 库Fetcher 做高质量 HTTP 请求（可模拟浏览器 TLS 指纹、支持 HTTP/3），StealthyFetcher 基于 Playwright/Chrome 做动态渲染与反爬处理；提供 Scrapy 风格的 Spider（并发、限速、AutoThrottle、暂停恢复、流式输出、内置 JSON/JSONL/CSV/XML 导出），并支持 robots.txt 遵守开关、代理轮换、CDP 远程浏览器接入、记录后台 API 响应。对 AI 侧提供 MCP server 与 Agent Skill，可把页面一键转成 RAG 可用的 Markdown。以上为 README 阅读结论，未实际运行。
实用价值
对传统企业最有价值的不是“能爬”，而是“能把采集结果直接落成 CSV/JSON 或干净的 Markdown 语料”，减少从采集到可用数据之间的人工整理环节。
局限
README 自带免责声明：仅供教育与研究用途，使用者需自行遵守当地与国际的数据爬取与隐私法规——用在企业采价/竞品监测前必须先确认目标站点条款；隐身与绕过 Cloudflare 的能力涉及合规风险，不应作为默认手段；跨境/多站大规模采集还受代理成本与稳定性影响；未实际运行。
开源协议
BSD-3-Clause
BSD-3-Clause：允许商用、修改与再分发，需保留版权声明与免责条款、不得用作者名义背书；相比 GPL 更适合企业内部改造与闭源集成。
协议解读供选型参考，不构成法律意见。
推荐理由
先在“自家或已明确授权”的目标站点上跑，把 robots.txt 遵守开关与限速打开，验证采集质量后再谈扩展；不建议把破盾能力用在对条款不明确的第三方平台上。
观测
Star99500；观测时间：2026-11-08T08:19:46.000Z
暂无可比增长基线
开源代码
专业社区口碑
未找到可靠口碑
本轮仅检索 Hacker News 首页，未见针对该项目的讨论帖；仓库页未读取 Issue 区，口碑不作判断。
未做站内检索；README 自述“被数百个爬虫每天使用”与 92% 测试覆盖，均属仓库自述，本轮未独立验证。
类似项目推荐
模型知识参考，未在线核验；名称、维护状态和许可证需另行核实。