Firecrawl

它解决的是哪一层问题

不是「能不能抓到网页」——那件事 requests 加个正则就能做。它解决的是抓回来的东西能不能直接喂给模型。

README 给的对比理由很具体：

最后一条是重点：输出格式是为LLM 优化的，不是为归档优化的。

端点分两档，先搞清楚你在用哪档

核心端点

其余能力

• Agent —— 描述你需要什么，自动去收集数据
• Crawl —— 一个请求抓完整站URL
• Map —— 即刻发现一个站点上的全部 URL
• Batch Scrape —— 异步抓上千个 URL

「抓页面」和「抓完再操作」是两件事。 Interact 和 Actions 属于后者：可以在提取前点击、滚动、输入、等待、按键。这对需要登录态或分步流程的页面是刚需。

四种调用方式，同一套能力

Python

pythonfrom firecrawl import Firecrawl

app = Firecrawl(api_key="fc-YOUR_API_KEY")

result = app.scrape("firecrawl.dev")

Node.js

javascriptimport { Firecrawl } from "firecrawl";

const app = new Firecrawl({ apiKey: "fc-YOUR_API_KEY" });

app.scrape("firecrawl.dev");

cURL

bashcurl -X POST 'https://api.firecrawl.dev/v2/scrape' \
  -H 'Authorization: Bearer fc-YOUR_API_KEY' \
  -H 'Content-Type: application/json' \
  -d '{"url":"firecrawl.dev"}'

CLI

bashfirecrawl scrape https://firecrawl.dev
firecrawl https://firecrawl.dev --only-main-content

第二条命令的 --only-main-content 很实用——只要正文，去掉导航和页脚。

Search 的调用同理：

pythonsearch_result = app.search("firecrawl", limit=5)

接进 agent：一条命令

README 强调的一点是agent ready——用一条命令接到任意 AI agent 或 MCP client 上。

生态资源：

• MCP server（在新标签页打开）
• Skills Catalog（在新标签页打开），装法是 npx skills add firecrawl/skills
• CLI（在新标签页打开）
• 现成集成：Lovable、Zapier、n8n

如果你只是想让 agent 读网页，这条命令是唯一要关心的。 先跑通再考虑别的。

自托管：先把预期说清楚

开源版不等于云版

README 里有一节专门讲这个，原文意思是：Firecrawl 以 AGPL-3.0 开源，cloud 版本包含额外功能。

这不是细节，是选型的决定性因素。 云端能用的东西，开源自托管不一定有。

许可证要看两处

官方原话：

This project is primarily licensed under the GNU Affero General Public License v3.0 (AGPL-3.0). The SDKs and some UI components are licensed under the MIT License.

也就是：

要做闭源商业集成的话，这一条必须先过法务。 具体看各目录下的 LICENSE 文件。

自托管要准备什么

官方给了专门的自托管指南（在新标签页打开）。在决定之前先知道代价：Redis、Playwright（要装浏览器）、以及一组环境变量。

建议的顺序是：先用托管版跑通，再决定要不要自托管。 判断依据是数据敏感度和调用量，不是功能列表。

抓取礼仪：官方自己写清楚了

这一段值得原样记住，README 里是这么写的：

It is the sole responsibility of end users to respect websites' policies when scraping. Users are advised to adhere to applicable privacy policies and terms of use. By default, Firecrawl respects robots.txt directives.

翻译成三条实践：

1. 默认遵守 robots.txt。 这不是可以随手关掉的开关，是默认行为。
2. 责任在使用者。 抓不礼貌的站点，责任是你的，不是工具的。
3. 注意隐私政策和使用条款。 抓公开页面不等于可以无视对方的条款。

建议的使用方式

1. 注册拿 key，在 playground（在新标签页打开） 里试一次，确认输出格式符合你要的样子。
2. 用--only-main-content 或对应参数只取正文，先把token 压下来。
3. agent 集成走 MCP 或 Skills Catalog，不要自己写胶水。
4. 数据量大、要长期跑，再评估自托管——先把 Redis 和 Playwright 的成本算进去。
5. 批量任务用 Batch Scrape 异步接口，不要串行循环。

什么时候别用它

• 只偶尔抓一两个静态页面 —— requests 加正则更快，引入它不划算。
• 要做闭源商业集成 —— AGPL-3.0 主体需要先过法务，或者只单独用 MIT 的 SDK 部分。
• 要抓 robots.txt 禁止的站点 —— 默认就拦，工具不会帮你绕过。