Sitemcp:将网站变成MCP服务器的一个开源项目

siteMCP是什么?

sitemcp能够抓取网站内容并缓存,支持使用micromatch指定抓取的页面路径以及 CSS 选择器来精细化选择页面内容,并把抓取的内容用作MCP服务器的数据源,也就是说它把静态网站变成了一个可交互的知识库,配合MCP客户端进行提问,获取更精准的信息。

sitemcp是什么?.jpg

sitemcp功能

内容抓取与缓存:可以抓取指定网站的全部或部分页面,并将其缓存起来。支持使用 micromatch 来指定抓取的页面路径,例如:

sitemcp https://vite.dev -m "/blog/**" -m "/guide/**"

内容选择器:在某些页面中,mozilla/readability 提取的内容可能不够准确,此时可以通过指定 CSS 选择器来精确提取可读内容:

sitemcp https://vite.dev --content-selector ".content"

与 MCP 客户端配合使用:sitemcp 可以与 MCP 客户端(如 Claude Desktop)配合使用。通过配置文件,可以在客户端中启动 sitemcp 服务器。例如:

{
"mcpServers": {
"daisy-ui": {
  "command": "npx",
  "args": [
"-y",
"sitemcp",
"https://daisyui.com",
"-m",
"/components/**",
  ]
}
}
}

缓存机制:默认会在 ~/.cache/sitemcp 中缓存抓取的页面。如果不需要缓存,可以通过 --no-cache 标志来禁用。

sitemcp应用

sitemcp 等于是把静态网站变成了一个可交互的知识库,配合 MCP 客户端进行提问,解锁了更丰富的应用场景。例如,用户可以将抓取的网站内容作为知识库,通过 MCP 客户端进行提问,获取更精准的信息。

sitemcp使用教程

安装:sitemcp 支持多种安装方式。可以使用以下命令进行一次性安装:

bunx sitemcp
npx sitemcp
pnpx sitemcp

或者,也可以将其全局安装:

bun i -g sitemcp
npm i -g sitemcp
pnpm i -g sitemcp

使用:使用时只需指定目标网站的 URL:

sitemcp https://daisyui.com

还可以通过 --concurrency 参数指定并发数,以提高抓取效率:

sitemcp https://daisyui.com --concurrency 10

github地址:https://github.com/ryoppippi/sitemcp

收藏
最新工具
喵记多APP
喵记多APP

快手推出的边聊天边记录的AI笔记,主要功能包括管理笔记,如剪藏、...

畅图
畅图

一款由摹客推出的AI原生可视化工具,专为个人和团队的创意表达、知...

Ztalk ai
Ztalk ai

一个AI驱动的会议实时语音翻译平台,可以与 Zoom、Googl...

Supercut
Supercut

一款屏幕录制工具,能帮你快速录下屏幕上的内容,录制的视频可以自动...

DreamShootAI
DreamShootAI

一个能帮你用照片生成各种风格图片的AI情侣照片生成工具,比如情侣...

讯飞星辰MaaS
讯飞星辰MaaS

科大讯飞开发的一款一站式AIGC内容运营平台,主要面向开发者,提...

星辰Agent开发平台
星辰Agent开发平台

讯飞星火新一代智能体Agent开发平台,助力开发者快速搭建生产级...

Drimo智能影视创作平台
Drimo智能影视创作平台

一款由追梦极客推出的面向影视、广告从业者以及AI视频创作者设计的...

码上飞
码上飞

一个需求秒变软件的全流程自动化智能开发平台,码上飞是L4级无人软...

Simular AI
Simular AI

一款专为Mac用户设计的本地AI智能助手,它能通过自然语言处理执...