[NS : SkyLightVPS] 【开源干货】被商业爬虫收费恶心到了，老哥怒写 5 万星开源爬虫 Crawl4AI

搞过大模型、RAG或者本地知识库的应该都知道，把网页内容扒下来洗成干净的Markdown是最恶心的一步。之前海外那帮做云端抓取提取的，像什么Firecrawl、Jina，后面基本都搞商业化收费，一个月几十刀，按页扣费看着都肉疼。推特上有个国外老哥也是被这种按月扣费的服务恶心到了，一生气干脆自己撸了个开源项目craw