数量即力量！腾讯揭秘：Agent数量越多，大语言模型效果越好

来自腾讯的研究者们做了一个关于 agent 的scaling property（可拓展性）的工作。发现：通过简单的采样投票，大语言模型（LLM）的性能，会随着实例化agent数量的增加而增强。其第一次在广泛的场景下验证了该现象的普遍性，与其他复杂方法的正交性，以及研究了其背后的原因，并提出进一步促成scaling发挥威力的办法。

• 论文标题：More Agents Is All You Need

• 论文地址：https://arxiv.org/abs/2402.05120

• 代码地址：https://github.com/MoreAgentsIsAllYouNeed/More-Agents-Is-All-You-Need

论文讨论了诸多集成 LLM 的相关工作，包括 LLM 自集成、异构 LLM 集成、还有关于多个 LLM Agents 协作框架的工作，并与提出的方法进行了对比，可以看出论文进行了更全面的研究和分析：

• 将任务 query 输入到单个 LLM 或多个 LLM Agents 协作框架中，生成多个输出；
• 通过多数投票确定最终结果

                                   ^{基于 LLama13B}

                                 ^{基于 LLama70B}

                              ^{基于 GPT-3.5-Turbo}

• 固有难度：随着任务固有难度的增加，性能提升（即相对性能增益）也会增加，但当难度达到一定程度后，增益会逐渐减少。这表明在任务过于复杂时，模型的推理能力可能无法跟上，导致性能提升的边际效应递减。
• 步骤数量：随着解决任务所需的步骤数量增加，性能提升也会增加。这表明在多步骤任务中，通过增加 agent 数量可以帮助模型更好地处理每一步，从而整体提高任务的解决性能。
• 先验概率：正确答案的先验概率越高，性能提升越大。这意味着在正确答案更有可能的情况下，增加 agent 数量更有可能带来显著的性能提升。

• 逐步采样和投票（Step-wise Sampling-and-Voting）：这种方法将任务分解为多个步骤，并在每个步骤中应用采样和投票，以减少累积错误并提高整体性能。
• 分层采样和投票（Hierarchical Sampling-and-Voting）：这种方法将低概率任务分解为多个高概率子任务，并分层解决，同时可以使用不同模型来处理不同概率的子任务以降低成本。