Crawl4AI GitHub 仓库卡片

Crawl4AI 是一个专门服务大模型的网页抓取库,8.6 万星、Apache-2.0,用 Python 写。它把任意页面抓下来直接转成干净 Markdown,自动去掉导航、广告和页脚,还能按 CSS 规则或模型规则只取需要的字段,内置浏览器内核所以 JS 渲染的页面也能读。想让 AI 读一篇文章,先得自己写请求、自己解析 HTML,碰上 JS 渲染、懒加载、正文里混着广告就一路卡;抓十页还能忍,抓一千页光维护选择器就是一摊事。更麻烦的是抓下来一堆标签,直接塞给模型既费 token 又答不准。Crawl4AI 把这些脏活收进一次调用。

实际项目里最省事的分工是:抓取交给它,清洗和切块交给自己的脚本,模型只负责理解。这样换模型、换库都不影响抓取层,抓下来的原始 Markdown 存一份,后面调提示词不用重新抓一遍。

亮点

  • 一次调用直接出 Markdown,正文结构保留,表格和列表不会散架
  • 正文过滤:可以只要主内容,把菜单、推荐位、评论区砍掉,省下大量 token
  • 结构化抽取:用 CSS 选择器、正则或模型规则,把页面变成字段清晰的 JSON
  • 并发与缓存:批量抓的时候按站点限速,抓过的页面缓存下来不重复请求
  • 自带服务模式:起一个 HTTP 服务,别的语言或 Agent 框架直接调
项目 说明
开源协议 Apache-2.0
开发语言 Python
页面渲染 内置浏览器内核,可执行 JS
输出格式 Markdown、结构化 JSON、截图
部署方式 pip 安装,也有官方容器镜像起 HTTP 服务
适用场景 RAG 知识库入库、站点监控、Agent 联网读页

上手步骤

  1. 装库并跑一次初始化命令,把浏览器内核拉下来
  2. 写十几行代码建爬虫对象,把网址传进去
  3. 按页面情况设参数:要不要等 JS、要不要只留正文
  4. 拿返回结果里的 Markdown 直接入库或喂模型
  5. 批量场景加并发和缓存配置,或用官方镜像起服务给别的程序调

适用人群

  • 做 RAG 知识库、要把整站内容入库的开发者
  • 做行业资讯监控、每天定时抓几十个站的运营
  • 写 Agent 需要联网读页能力的工程师
  • 不想按次付费买抓取接口的小团队

常见问题

问:抓多了会被封 IP 吗?

默认不带反检测,站点有强风控要自己配代理和请求头。

问:能抓登录后的页面吗?

支持传入浏览器会话和 cookie,登录态可以复用。

问:中文站正文识别准吗?

正文靠启发式规则判断,个别站点可能要指定选择器兜底。

问:能商用吗?

Apache-2.0 允许商用,保留许可证声明即可。

最后更新:2026-10-31

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。