
Firecrawl 是一个开源的网页数据接口,TypeScript 编写,AGPL-3.0 协议,据 GitHub 项目页显示已有十九万多个星标,最新版本 v2.11.0。它把任意网页、PDF、Word 文档抓成干净的 Markdown 或结构化 JSON,可以接进自己的程序,也可以作为 MCP 服务挂给 Claude、Cursor 这类 AI 客户端用。做知识库、做数据采集、给 AI 助手联网的人,用它比自己写爬虫省事得多。
自己写爬虫最烦的不是发请求,是后面三件事:页面靠 JS 渲染,拿回来一堆空 div;有反爬,要维护代理池和请求头;正文里混着导航、广告、推荐位,直接喂给模型,一半 token 花在没用的话上。写完代码还得应付目标站改版。
Firecrawl 干的就是这一段脏活:它自带无头浏览器渲染、代理轮换和正文提取,出来就是模型能直接吃的格式。官方给出的数据是覆盖约 96% 的网页、P95 延迟 3.4 秒,这两个数字来自项目说明页,实际以自己测的为准。
工具特点
- 单页抓取:给一个地址,返回 Markdown、结构化 JSON、HTML 或整页截图
- 整站抓取:设定抓取深度和路径规则,批量爬一个站点
- 链接地图:几秒钟列出一个站点的所有可抓地址,用来筛选再抓
- 搜索接口:带网页结果的搜索,返回已经清洗过的正文,不是一堆链接
- 结构化提取:给一份字段模板,按模板把页面信息抽成 JSON
- 页面动作:抓之前可以先点击、滚动、填表、等元素出现,专治懒加载
- 文档解析:PDF、DOCX 也能转成 Markdown
- 两种用法:直接用官方云服务,或者自己用 Docker 全套部署
基础信息
| 开源协议 | AGPL-3.0 |
| 开发语言 | TypeScript,官方提供 Python 与 Node 两套 SDK |
| 最新版本 | v2.11.0 |
| GitHub 星标 | 约十九万 |
| 部署方式 | 官方托管服务,或 Docker Compose 自建 |
| 输出格式 | Markdown、JSON、HTML、截图 |
| 接入方式 | REST 接口、SDK、MCP 服务 |
| 收费情况 | 代码开源免费;云服务有免费额度,量大按量计费 |
适合人群
- 做 RAG 知识库的人:把内部文档站、帮助中心、博客批量转成干净文本
- 做 AI 应用和 Agent 的开发者:要让模型实时读网页,又不想自己维护抓取链路
- 做市场与竞品分析的人:批量采集公开页面,抽成表格再分析
- 不想天天修爬虫脚本的运维和独立开发者
使用说明
- 先决定走云服务还是自建:想快点出结果就注册官方账号拿密钥;数据不能出内网就自建,需要 Docker 环境,起服务前先看项目里的部署说明
- 安装对应语言的 SDK,把密钥放进环境变量,别写死在代码里
- 先试单页:传一个地址,看返回的 Markdown 干不干净,再决定要不要清洗
- 验证效果没问题再整站抓,抓取量先设小一点,跑通再加
- 要把结果喂给模型,建议再用字段模板做结构化提取,直接拿 JSON 入库
- 挂给 AI 客户端用:按项目说明把 MCP 服务加到客户端配置里,之后让 AI 自己去查网页
- 合规提醒:只抓公开内容,遵守目标站的抓取规则和版权,登录后才能看的内容不要抓
常见问题
问:Firecrawl 是免费的吗?
答:代码是 AGPL-3.0 开源的,自己部署不花钱;官方的云服务有免费额度,用超了按量付费。自建的代价是要自己维护 Docker 环境和代理。
问:需要登录才能看的页面能抓吗?
答:技术上可以先填表登录再抓,但要自己处理 cookie 和验证码。抓取登录后的私有内容容易踩版权和隐私的红线,不建议做。
问:抓不到 JS 渲染的页面怎么办?
答:它默认会启动无头浏览器渲染,仍抓不全就调大等待时间,或者用页面动作先滚动到底部再提取。
问:和普通爬虫框架有什么区别?
答:普通框架给你原始 HTML,正文提取、反爬、代理都要自己写;它直接输出模型能读的 Markdown 和 JSON,省掉清洗环节,代价是灵活性不如自己写。
最后更新:2026-10-28
声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。
