Firecrawl MCP Server:具备网页抓取、爬取、搜索、内容提取等多种功能
Firecrawl MCP Server是什么?
Firecrawl MCP Server是一个与 Firecrawl 集成的MCP服务器,具备网页抓取、爬取、搜索、内容提取等功能,比如说从购物网站提取商品价格,以及做深度研究等。支持云环境和自托管实例,可通过环境变量配置重试机制、信用监控等参数,提供多种ai工具及详细日志与错误处理,且方便在不同开发环境中安装使用。
firecrawl-mcp-server功能特性
多样化的网页处理:支持网页抓取、爬取、搜索、内容提取、深度研究以及批量抓取。
JS 渲染支持:可以处理需要 JavaScript 渲染的网页。
URL 发现与爬取:能够自动发现和爬取网页中的 URL。
网页搜索与内容提取:支持在网页上进行搜索并提取相关内容。
自动重试机制:采用指数退避算法进行自动重试,确保数据获取的稳定性。
高效的批量处理:内置速率限制,提高批量处理的效率。
信用使用监控:对云 API 的信用使用情况进行监控。
全面的日志系统:提供详细的日志记录,方便调试和监控。
多环境支持:支持云环境和自托管的 Firecrawl 实例。
多视图支持:支持移动和桌面视口。
智能内容过滤:可以通过标签包含或排除进行智能内容过滤。
SSE 支持:支持服务器发送事件(Server-Sent Events)。
firecrawl-mcp-server安装与运行
使用 npx 运行
env FIRECRAWL_API_KEY=fc-YOUR_API_KEY npx -y firecrawl-mcp
手动安装
npm install -g firecrawl-mcp
在 Cursor 中运行
根据 Cursor 的不同版本,按照相应的步骤进行配置,需要在配置中替换 your-api-key 为你的 Firecrawl API 密钥。
在 Windsurf 中运行
将特定的配置添加到 ./codeium/windsurf/model_config.json 文件中,并替换 YOUR_API_KEY 为你的 Firecrawl API 密钥。
项目链接
https://github.com/mendableai/firecrawl-mcp-server