LettuceDetect：RAG系统幻觉检测工具，速度快、成本低、精确定位。

LettuceDetect是什么？

LettuceDetect 是一个用于检索增强生成（RAG）系统的幻觉检测工具，它通过比较答案与上下文，识别答案中未被支持的部分，从而检测幻觉内容。

LettuceDetect核心特点

• 解决现有方法的局限性：LettuceDetect 解决了传统编码器方法的上下文窗口限制和基于大型语言模型（LLM）方法的计算效率低下的问题。

• 基于 ModernBERT：该工具利用 ModernBERT 的扩展上下文处理能力（支持最多 8192 个 token），能够处理长文本。

• 高精度与高效性：它在 RAGTruth 数据集上表现出色，示例级别检测的 F1 分数达到 79.22%，比之前的最优模型 Luna 提高了 14.8%。同时，它在单个 GPU 上每秒可处理 30 到 60 个样本。

• Token 级别检测：LettuceDetect 是一个基于 Token 分类的模型，它将上下文、问题和答案作为输入，逐个判断答案中的 Token 是否由上下文支持。

• 优化推理性能：采用更小的模型尺寸，实现更快的推理速度。

• 长上下文处理：该工具利用 ModernBERT 的扩展上下文处理能力（支持最多 8192 个 Token），能够处理长文本，从而更准确地判断答案是否受上下文支持。

技术实现

• 训练和评估：LettuceDetect 在 RAGTruth 数据集上进行训练和评估，利用 ModernBERT 进行长上下文处理。

• 模型和代码许可：提供 MIT 许可，模型和代码可以自由使用，并已集成到 Hugging Face 中，可以通过一行代码加载模型。

LettuceDetect 的应用场景：

• 金融领域：检测金融咨询、财务分析中的错误信息，防止误导用户。

• 法律领域：保证法律咨询、合同解读准确，降低法律风险。

• 医疗健康：辅助医疗咨询和诊断，避免因幻觉误诊。

• 客户服务：提高企业客服机器人回答准确性，增强用户信任。

• 教育领域：确保智能辅导和在线学习内容可靠。

• 企业知识管理：保障内部知识管理系统输出信息准确。

• 高风险行业：结合多种检测方法，提升系统输出可信度。

GitHub 仓库：https://github.com/KRLabsOrg/LettuceDetect