SurveyForge:一款自动撰写综述论文的AI工具
SurveyForge是什么?
SurveyForge 是上海 ai Lab 开发的一款工具,专门用于自动生成调研论文。它通过研究人类撰写的论文大纲结构和相关领域的文献来生成合理的大纲,并利用高质量的学术论文来自动生成和优化内容。此外,作者们还创建了 SurveyBench 基准,其中包含 100 篇由人类撰写的调研论文,用于从多个角度评估 AI 生成的论文质量。这解决了传统 AI 生成论文时常见的结构不合理和参考文献不准确等问题。
核心功能
大纲生成:SurveyForge 通过研究人类撰写的论文大纲和相关文献,生成清晰、合理的结构。
内容生成:它会检索高质量文献,并结合记忆机制来生成和优化论文内容。
多维度评估:SurveyBench 基准包含 100 篇人类撰写的综述论文,用于从参考文献质量、大纲质量和内容质量三个方面评估 AI 生成的综述。
技术细节
大纲生成:通过分析人类撰写的论文结构和相关领域的文献来创建大纲。
内容生成:利用高质量文献生成并优化论文内容。
评估基准:SurveyBench 包含 100 篇人类撰写的论文,涵盖 10 个不同主题,确保主题一致性和学术严谨性。
优势
结构与逻辑:生成的大纲质量接近人类水平,解决了传统 AI 方法中结构失衡的问题。
参考文献:核心文献的覆盖率提高了近一倍,引用更加准确。
内容质量:生成的内容更加连贯、全面,且成本极低,生成约 64k token 的综述仅需不到 0.5 美元,整个过程仅需 10 分钟。
评估标准:SurveyBench 提供了客观的评估标准,便于比较不同方法的性能。
使用方法
生成论文:由于 API 调用频率限制,用户需要通过邮件或在仓库中提交问题来请求生成论文。生成时间大约为 10 分钟。
评估论文:使用 SurveyBench 进行评估,可以通过命令行运行 cd SurveyBench && python test.py --is_human_eval 来完成评估。
项目链接
Github:https://github.com/Alpha-Innovator/SurveyForge