ScoreFlow：一种自动化多智能体工作流生成和优化方法

ScoreFlow是什么？

ScoreFlow是一种自动化多智能体工作流生成与优化方法，它通过基于梯度的连续空间优化技术，结合Score-DPO，不断改进协作流程，从而提升模型性能。它在问答、编程、数学推理等多个基准测试中比现有的方法都更优，并支持小模型以更低推理成本超越大模型。ScoreFlow由芝加哥大学、普林斯顿大学和牛津大学的团队开发。

ScoreFlow功能特征

• 高效优化：利用连续空间的梯度优化技术，提升模型性能。

• 偏好优化：结合Score-DPO，集成了 Score-DPO，这是一种直接偏好优化方法的变体，考虑定量反馈，优化模型输出。

• 小模型优势：帮助小模型在性能上超越大模型，降低推理成本。

• 多任务支持：覆盖问答、编程、数学推理等多种应用场景。

实验结果

• 在六个不同的基准测试（包括问答、编码和数学推理）中，ScoreFlow 相比现有基线实现了 8.2% 的改进。

• ScoreFlow 还能够在较低的推理成本下，使较小的模型超越较大的模型。

ScoreFlow应用场景

• 问答系统：提升问答模型的准确性和效率。

• 编程辅助：优化代码生成模型，提高编程效率。

• 数学推理：增强模型在数学问题解决中的表现。

• 多智能体协作：优化多智能体工作流，提升整体任务效率。

ScoreFlow使用方法

硬件准备：需要80-90GB显存。

环境设置：

• 使用 conda 创建一个新的虚拟环境，并安装必要的依赖项。

• 下载数据集并将其解压缩到项目目录中。

优化过程：

• 通过迭代优化模型，逐步提高性能。

• 使用 generate.py 和 evaluate.py 脚本进行优化。

• 可以通过增加迭代次数来调整优化过程。

推理：

• 在测试集上运行推理，评估模型的最终性能。

Github项目：https://github.com/Gen-Verse/ScoreFlow