斯坦福和OpenAI提出meta-prompting，最强零样本prompting技术诞生了

在我们的工作群里，经常会有一位管理者来协调每个人的工作并汇总工作成果。近日，斯坦福大学的 Mirac Suzgun 和 OpenAI 的 Adam Tauman Kalai 提出了一种新的 prompting 方法：meta-prompting。类似于工作群，这种方法也是使用一个居中协调的指挥员（元模型）来协调使用不同用途的 AI 和其它工具。

• 论文标题：Meta-Prompting: Enhancing Language Models with Task-Agnostic Scaffolding
• 论文地址：https://arxiv.org/abs/2401.12954
• 项目地址：https://github.com/suzgunmirac/meta-prompting

• 标准 prompting
• 零样本思维链 prompting
• 专家 prompting
• 多人设 prompting

• Game of 24：目标是使用四个给定数值（每个只能使用一次）构建一个结果为 24 的算术表达式。
• 三个 BIG-Bench Hard（BBH）任务：Geometric Shapes、MultiStep Arithmetic Two 和 Word Sorting；另外还有一个直接从 BIG-Bench 套件获取的推理任务 Checkmate-in-One。
• Python Programming Puzzles（P3），即 Python 编程题，包含多个难度。
• Multilingual Grade School Math，即多语言小学数学，这是 GSM8K 数据集的一个多语言版本，包含孟加拉语、日语和斯瓦希里语等语言。
• Shakespearean Sonnet Writing，即莎士比亚式十四行诗写作，这是该团队创建的一个新任务，目标是写出按「ABAB CDCD EFEF GG」严格押韵的十四行诗，其中应一词不差地包含所提供的三个词。

• Exact Match (EM)，精确匹配
• Soft Match (SM)，软匹配
• Functionally Correct (FC)，功能正确性