
Crawl4AI 是一个专门服务大模型的网页抓取库,8.6 万星、Apache-2.0,用 Python 写。它把任意页面抓下来直接转成干净 Markdown,自动去掉导航、广告和页脚,还能按 CSS 规则或模型规则只取需要的字段,内置浏览器内核所以 JS 渲染的页面也能读。想让 AI 读一篇文章,先得自己写请求、自己解析 HTML,碰上 JS 渲染、懒加载、正文里混着广告就一路卡;抓十页还能忍,抓一千页光维护选择器就是一摊事。更麻烦的是抓下来一堆标签,直接塞给模型既费 token 又答不准。Crawl4AI 把这些脏活收进一次调用。
实际项目里最省事的分工是:抓取交给它,清洗和切块交给自己的脚本,模型只负责理解。这样换模型、换库都不影响抓取层,抓下来的原始 Markdown 存一份,后面调提示词不用重新抓一遍。
亮点
- 一次调用直接出 Markdown,正文结构保留,表格和列表不会散架
- 正文过滤:可以只要主内容,把菜单、推荐位、评论区砍掉,省下大量 token
- 结构化抽取:用 CSS 选择器、正则或模型规则,把页面变成字段清晰的 JSON
- 并发与缓存:批量抓的时候按站点限速,抓过的页面缓存下来不重复请求
- 自带服务模式:起一个 HTTP 服务,别的语言或 Agent 框架直接调
| 项目 | 说明 |
|---|---|
| 开源协议 | Apache-2.0 |
| 开发语言 | Python |
| 页面渲染 | 内置浏览器内核,可执行 JS |
| 输出格式 | Markdown、结构化 JSON、截图 |
| 部署方式 | pip 安装,也有官方容器镜像起 HTTP 服务 |
| 适用场景 | RAG 知识库入库、站点监控、Agent 联网读页 |
上手步骤
- 装库并跑一次初始化命令,把浏览器内核拉下来
- 写十几行代码建爬虫对象,把网址传进去
- 按页面情况设参数:要不要等 JS、要不要只留正文
- 拿返回结果里的 Markdown 直接入库或喂模型
- 批量场景加并发和缓存配置,或用官方镜像起服务给别的程序调
适用人群
- 做 RAG 知识库、要把整站内容入库的开发者
- 做行业资讯监控、每天定时抓几十个站的运营
- 写 Agent 需要联网读页能力的工程师
- 不想按次付费买抓取接口的小团队
常见问题
问:抓多了会被封 IP 吗?
默认不带反检测,站点有强风控要自己配代理和请求头。
问:能抓登录后的页面吗?
支持传入浏览器会话和 cookie,登录态可以复用。
问:中文站正文识别准吗?
正文靠启发式规则判断,个别站点可能要指定选择器兜底。
问:能商用吗?
Apache-2.0 允许商用,保留许可证声明即可。
最后更新:2026-10-31
声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。
