Firecrawl 网页抓取接口

Firecrawl 是一个开源的网页数据接口,TypeScript 编写,AGPL-3.0 协议,据 GitHub 项目页显示已有十九万多个星标,最新版本 v2.11.0。它把任意网页、PDF、Word 文档抓成干净的 Markdown 或结构化 JSON,可以接进自己的程序,也可以作为 MCP 服务挂给 Claude、Cursor 这类 AI 客户端用。做知识库、做数据采集、给 AI 助手联网的人,用它比自己写爬虫省事得多。

自己写爬虫最烦的不是发请求,是后面三件事:页面靠 JS 渲染,拿回来一堆空 div;有反爬,要维护代理池和请求头;正文里混着导航、广告、推荐位,直接喂给模型,一半 token 花在没用的话上。写完代码还得应付目标站改版。

Firecrawl 干的就是这一段脏活:它自带无头浏览器渲染、代理轮换和正文提取,出来就是模型能直接吃的格式。官方给出的数据是覆盖约 96% 的网页、P95 延迟 3.4 秒,这两个数字来自项目说明页,实际以自己测的为准。

工具特点

  • 单页抓取:给一个地址,返回 Markdown、结构化 JSON、HTML 或整页截图
  • 整站抓取:设定抓取深度和路径规则,批量爬一个站点
  • 链接地图:几秒钟列出一个站点的所有可抓地址,用来筛选再抓
  • 搜索接口:带网页结果的搜索,返回已经清洗过的正文,不是一堆链接
  • 结构化提取:给一份字段模板,按模板把页面信息抽成 JSON
  • 页面动作:抓之前可以先点击、滚动、填表、等元素出现,专治懒加载
  • 文档解析:PDF、DOCX 也能转成 Markdown
  • 两种用法:直接用官方云服务,或者自己用 Docker 全套部署

基础信息

开源协议 AGPL-3.0
开发语言 TypeScript,官方提供 Python 与 Node 两套 SDK
最新版本 v2.11.0
GitHub 星标 约十九万
部署方式 官方托管服务,或 Docker Compose 自建
输出格式 Markdown、JSON、HTML、截图
接入方式 REST 接口、SDK、MCP 服务
收费情况 代码开源免费;云服务有免费额度,量大按量计费

适合人群

  • 做 RAG 知识库的人:把内部文档站、帮助中心、博客批量转成干净文本
  • 做 AI 应用和 Agent 的开发者:要让模型实时读网页,又不想自己维护抓取链路
  • 做市场与竞品分析的人:批量采集公开页面,抽成表格再分析
  • 不想天天修爬虫脚本的运维和独立开发者

使用说明

  1. 先决定走云服务还是自建:想快点出结果就注册官方账号拿密钥;数据不能出内网就自建,需要 Docker 环境,起服务前先看项目里的部署说明
  2. 安装对应语言的 SDK,把密钥放进环境变量,别写死在代码里
  3. 先试单页:传一个地址,看返回的 Markdown 干不干净,再决定要不要清洗
  4. 验证效果没问题再整站抓,抓取量先设小一点,跑通再加
  5. 要把结果喂给模型,建议再用字段模板做结构化提取,直接拿 JSON 入库
  6. 挂给 AI 客户端用:按项目说明把 MCP 服务加到客户端配置里,之后让 AI 自己去查网页
  7. 合规提醒:只抓公开内容,遵守目标站的抓取规则和版权,登录后才能看的内容不要抓

常见问题

问:Firecrawl 是免费的吗?

答:代码是 AGPL-3.0 开源的,自己部署不花钱;官方的云服务有免费额度,用超了按量付费。自建的代价是要自己维护 Docker 环境和代理。

问:需要登录才能看的页面能抓吗?

答:技术上可以先填表登录再抓,但要自己处理 cookie 和验证码。抓取登录后的私有内容容易踩版权和隐私的红线,不建议做。

问:抓不到 JS 渲染的页面怎么办?

答:它默认会启动无头浏览器渲染,仍抓不全就调大等待时间,或者用页面动作先滚动到底部再提取。

问:和普通爬虫框架有什么区别?

答:普通框架给你原始 HTML,正文提取、反爬、代理都要自己写;它直接输出模型能读的 Markdown 和 JSON,省掉清洗环节,代价是灵活性不如自己写。

最后更新:2026-10-28

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。