LLMWhisperer：将复杂文档转换为结构化文本的文档解析工具

LLMWhisperer是什么？

LLMWhisperer是一款能将复杂文档解析为LLM格式的工具，能够高效提取文档中的文字、URL、元数据等深度信息，并以清晰的结构化格式输出。它支持 PDF 和图像等多种格式，还能自动提取姓名、地址这些重要信息。每天免费处理 100 页文档。

它还有在线测试环境，提供 API 和 JS/Python 的开发工具包，能轻松和 Next.js、Node.js、数据库这些常用技术对接。用它能省下不少处理图像输入的成本，特别适合发票、身份证、报销单这些场景。

LLMWhisperer功能特点

• 保留文档布局：LLMWhisperer 的布局保留模式可以保留文档的原始结构，包括表格、段落、多列布局等，确保提取后的数据与原始文档一致。

• 自动模式切换：工具能够自动识别文档类型，并在文本模式和 OCR 模式之间切换。如果文档是扫描图像或手写内容，它会自动切换到 OCR 模式。

• 表单元素识别：LLMWhisperer 能够识别 PDF 表单中的复选框和单选按钮，并将其值以原始文本形式呈现，方便 LLM 理解。

• 自动压缩：在处理文档时，LLMWhisperer 可以自动压缩不必要的 tokens，减少处理时间和成本，同时保留关键信息。

• 多语言支持：LLMWhisperer 支持超过 300 种语言，能够处理多语言文档，包括非拉丁字母脚本（如阿拉伯语、中文、日语等）。

• 多种文档格式支持：支持 PDF、图像（JPEG、PNG 等）、MS Office 文件（Word、Excel、PowerPoint）、OpenDocument 格式（ODT、ODP、ODS）以及纯文本文件（TXT）。

LLMWhisperer使用方法

• API 集成：LLMWhisperer 提供 API 接口，可以将其集成到现有的系统中，实现文档的自动化预处理。

• 客户端库：用户可以通过安装 LLM Whisperer 的客户端库（如 Python 的 llmwhisperer-client）来调用其功能。

• 在线测试：LLMWhisperer 提供了一个在线的 Playground 环境，用户可以上传文档进行实时测试，无需注册或安装任何软件。

优化能力

• 自动模式切换：处理文档时，若文本模式提取输出不足，自动切换到 OCR 模式。

• 自动压缩：在保留布局的同时压缩对输出无价值的标记，减少 LLMs 处理时间和成本。

• 预处理控制：可控制扫描图像的预处理，通过 API 调整中值滤波、高斯模糊等参数。

官网：https://unstract.com/llmwhisperer/