正在打开每日关注
正在打开每日关注
开源异步爬虫将复杂网页提炼为 Markdown，并支持结构化抽取、深度爬取与 Docker 部署。
GitHub上星标最高的爬虫工具，没有之一！ 据说是因为作者说之前被一个月16 美元的付费爬虫搞烦了，一气之下花几天时间自己手搓了一个 1.纯粹免费无套路：无需注册、不需要API Key、没有按页扣费的模式，开箱即用。 2.专为 AI 打造：能把任意复杂网页直接一键提纯为极简、规范的 Markdown 格式，完美喂给 LLM 跑数据流水线。 3.性能强劲又稳定：不仅跑得比大多数付费服务还快，最新版本还优化了内存调度与 GPU 容器部署，支持高并发稳定抓取。 https://t.co/krUVJwx9u4
是什么
Crawl4AI 是 unclecode/crawl4ai 的开源 Python 网页爬虫与抓取工具，目标是把网页转换为适合 LLM、RAG、Agent 和数据流水线使用的 Markdown。仓库创建于 2024-05-09，元数据显示 79,801 Stars，最近提交为 2026-08-29。
架构与核心设计
README 所示能力链包括异步浏览器池、缓存、会话、代理、用户脚本和钩子；兼容 Chromium、Firefox、WebKit，并支持动态页面、链接/媒体提取及 BFS 深度爬取。内容层提供 Fit Markdown、BM25 过滤、引用生成，以及基于 LLM、分块、余弦相似度、CSS/XPath 的结构化抽取。部署层提供 CLI、Docker 化 FastAPI API 与 JWT 鉴权；resume_state、状态回调和 prefetch 服务于长任务恢复与 URL 发现。
关键洞察 它把“浏览器执行—噪声清洗—结构化抽取—服务部署”连成可组合流水线，输出直接贴合模型下游，适合做知识库或 Agent 的采集底座。零 API Key、可自定义 Markdown 策略和多浏览器支持，降低了试用与迁移成本。
边界与风险 “免费、快、稳定”主要是推文的推广性判断，材料不足以验证普遍性能。运行仍需 Playwright 浏览器及依赖；README 强调 Docker API 默认鉴权、回环绑定和请求体不可信，并列出多项安全修复，生产暴露必须谨慎配置。它解决采集与预处理，不替代数据质量、授权合规或反爬策略。