Proxyless LLM Websearch：无需代理的LLM网络搜索引擎

Proxyless LLM Websearch是什么？

Proxyless LLM Websearch是一个无需代理的LLM网络搜索引擎，支持多引擎搜索、智能解析和异步处理，支持URL内容解析和网页爬取，结合LangGraph实现模块化智能体链路，专为大语言模型的外部知识调用场景而设计。

Proxyless LLM Websearch特性

• 无需代理：通过Playwright配置国内浏览器支持，无需代理也能进行网络搜索。

• 多搜索引擎支持：支持Bing、夸克、百度、搜狗等主流搜索引擎，增强信息来源多样性。

• 意图识别：系统能够根据用户的输入内容，自动判断是进行网络搜索还是解析URL。

• 查询分解：根据用户的搜索意图，自动将查询分解为多个子任务，并依次执行，从而提升搜索的相关性与效率。

• 智能体架构：基于LangGraph封装的“web_search”与“link_parser”。

• 异步并发任务处理：支持异步并发任务处理，可高效处理多个搜索任务。

• 内容处理优化

• 内容切片：将网页长内容按段切分。

• 内容重排：智能重排序，提高信息相关性。

• 内容过滤：自动剔除无关或重复内容。

• 多端支持

• FastAPI后端接口：可集成到任意系统中。

• Gradio Web UI：可快速部署成可视化应用。

• 浏览器插件支持：支持Edge，提供智能URL解析插件，直接在浏览器中发起网页解析与内容提取请求。

安装使用

克隆仓库：

git clone https://github.com/itshyao/proxyless-llm-websearch.git
cd proxyless-llm-websearch

安装依赖：

pip install -r requirements.txt
python -m playwright install

环境变量配置：

需要配置 OPENai_API_KEY、OPENAI_BASE_URL、MODEL_NAME、EMBEDDING_MODEL_NAME、EMBEDDING_API_KEY、EMBEDDING_BASE_URL 等环境变量。

运行示例：

运行 demo：

python demo.py

运行 FastAPI 后端接口：

python api_serve.py

运行 Gradio Web UI：

python gradio_demo.py

测试效果

基于阿里的 WebWalkerQA 高难度问答数据集，与火山方舟、百炼等知名在线检索接口对比，proxyless-llm-websearch 取得了最高的正确率和最低的错误率

Github库：https://github.com/itshyao/proxyless-llm-websearch