Versatile-OCR-Program:能够从复杂的材料(如考试试卷)中提取结构化数据的OCR

Versatile-OCR-Program是什么?

Versatile-OCR-Program是一个专门针对机器学习训练优化的OCR系统,能够从复杂的教育材料(如考试试卷)中提取结构化数据并输出JSON或Markdown格式。支持日语、韩语、英语,可扩展到其他语言、数学公式、表格、图表和图表,还能以语义注释的方式进行标注,生成自然语言描述。

ersatile-OCR-Program是什么?.webp

Versatile-OCR-Program主要特点

  • 优化机器学习训练:提取的元素(如图表、表格和图形)会进行语义注释,包括自动生成视觉内容的自然语言描述,以增强下游模型训练。

  • 多语言支持:支持日语、韩语和英语,并且可以轻松定制其他语言。

  • 结构化输出:以JSON或Markdown格式生成ai就绪的输出,包括数学表达式的人类可读描述、表格摘要和图形标题。

  • 高精度:在EJU生物学和东京大学数学等真实世界学术数据集上,准确率可达90% - 95%。

  • 复杂布局支持:能够准确处理包含密集科学内容、公式密集段落和丰富视觉元素的考试风格PDF。

  • 技术实现:使用了DocLayout-YOLO、Google Vision API、Gemini Pro Vision、MathPix OCR、OpenAI API、OpenCV等技术。

样例输出

  • 提供了实际的样例输出,包括数学和生物学问题的输入图像和转换后的输出图像,以及英语翻译的语义上下文和提取的数据。

  • 数学问题样例:展示了如何从一个包含几何图形和角度的图像中提取信息,并生成相关的描述和问题。

  • 生物学问题样例:展示了如何从一个显示洋葱根尖细胞有丝分裂过程的图像中提取信息,并生成相关的描述和问题。

Versatile-OCR-Program使用流程

  1. 第1步:初始OCR提取:运行ocr_stage1.py脚本,从输入PDF中提取原始元素(文本、表格、图形等),执行布局检测并存储中间结果。

  2. 第2步:语义解释和最终输出:运行ocr_stage2.py脚本,处理中间数据并将其转换为结构化、人类可读的输出,包括生成自然语言解释、摘要,并将内容组织成AI就绪格式(JSON/Markdown)。

技术实现

  • 表格处理优化:使用DocLayout-YOLO检测表格区域,使用Google Vision OCR进行表格处理(对于日语文本效果更好),并以结构化的JSON格式保留表格结构。

  • 图像和特殊区域处理:使用Google Vision API的图像分析功能处理图像区域,使用Google Cloud Vision API生成图像描述,使用Google Cloud Vision API的文档分析功能处理图表/图表,并以结构化的JSON格式存储处理结果。

Versatile-OCR-Program技术实现-输入效果.webp

输入效果

Versatile-OCR-Program技术实现-输出效果.webp

输出效果

Versatile-OCR-Program应用

  • 教育领域:用于提取和整理考试试卷、学术论文等教育材料中的数据,为教育研究和学习提供支持。

  • 机器学习训练:生成高质量的训练数据集,用于训练机器学习模型,特别是在教育领域的应用。

  • 多语言文档处理:适用于需要处理多种语言文档的场景,如国际学术交流、多语言教育材料的数字化等。

github项目:https://github.com/ses4255/Versatile-OCR-Program

收藏
最新工具
MyAITeachers AI吾师
MyAITeachers AI吾师

一个面向 8 岁以上学习者的AI学习辅导工具,有多位 AI 老师...

Presenton
Presenton

一个可以本地运行的开源AI PPT生成器,使用OpenAI、Ge...

Eigent AI
Eigent AI

全球首个桌面端多智能体生产力平台,采用多智能体协作架构,通过拆分...

NB Map
NB Map

灰色执照做的免费在线三维地图生成工具。它能根据真实地形数据,做出...

AI Dungeon
AI Dungeon

一款靠AI运行的文字冒险游戏。玩家可以自己选或创建冒险场景,像幻...

PairDrop
PairDrop

一款开源的跨平台文件传输工具,能通过在其他设备打开它、配对设备或...

Oldswf
Oldswf

专门提供经典Flash小游戏的网站,收录了超过5万多不同类型的游...

AutoClip
AutoClip

一款AI智能视频切片工具,能自动下载B站视频、剪辑精彩片段并生成...

EdClub
EdClub

一个提供高品质课程的学习平台,EdClub主要提供打字学习、词汇...

Resource Boy
Resource Boy

一个提供高质量免费样机等设计资源的网站,有很多素材,像材质、笔刷...