SuperGPQA：字节跳动豆包推出的一个知识推理基准测试集

SuperGPQA是什么

SuperGPQA是字节跳动豆包大模型团队和M - A - P开源社区一起推出的全新综合基准测试。它主要是用来全面评估大型语言模型在285个研究生学科里的知识水平和推理能力。

这个基准测试有一套很厉害的人机协作过滤机制，也就是结合大语言模型的回答和专家给出的反馈，不断打磨问题，把那些没什么价值或者表述模糊的内容去掉。它的覆盖范围特别广，从数学、物理、计算机科学这些常见学科，到轻工业、农业、服务科学等相对小众的学科都有涉及。

SuperGPQA特点：

• 学科覆盖广：SuperGPQA 覆盖了 285 个研究生学科，包括数学、物理、计算机科学等主流学科，以及轻工业、农业、服务科学等长尾学科。使SuperGPQA 能够全面评估大型语言模型（LLMs）在多样化知识领域的推理能力。

• 人机协作过滤机制：通过结合 LLM 的响应和专家反馈，SuperGPQA 采用迭代精炼的方式，消除琐碎或模糊的问题，保证问题质量好、有深度。

• 集优质数据集：通过专家筛选、规范化转录、多层质量检验这三步来构建数据集。题目平均有9.67个选项，而且42.33%的题目需要进行数学计算或者形式推理。

• 全面的模型性能评估：能详细对比不同模型的性能，还支持零样本和少样本等多种评估方式 。

• 问题数量与难度：它包含26,529个专业问题，平均每题提供9.67个选项，42.33%的问题需要数学计算或形式推理，能很好地检验模型在高难度任务中的表现。

SuperGPQA应用：

• 评估ai模型：看看大型语言模型在不同知识领域的推理能力怎么样，找出模型的长处和短板。

• 学术研究：给研究人员提供一个标准的测试框架，帮助他们开发出更厉害的人工智能模型。

• 教育领域：可以用来开发像自动化知识评估系统这样的智能教育工具。

• 行业应用：在医疗、法律、金融等行业里，评估人工智能模型的专业知识推理能力，让这些行业的智能化水平得到提升 。

论文：https://arxiv.org/pdf/2502.14739

HuggingFace：https://huggingface.co/datasets/m-a-p/SuperGPQA

GitHub仓库：https://github.com/SuperGPQA/SuperGPQA