GPT、Llama等大模型存在「逆转诅咒」，这个bug该如何缓解？

我们是否正在掉入中等智能陷阱？一个关于大语言模型 “逆转诅咒” 的分析与缓解方法。

                                 ^{图一：询问 GPT-4 “黄鹤一去不复返” 的下一句是什么，模型正确回答}

• 该研究采用 Berglund et al. 提出的 “人名 – 描述问答” 数据集，该数据集使用 GPT-4 编造了若干人名和对应的描述，人名和描述都是独一无二的。数据示例如下图所示：

• 该数据集有四个测试子任务：

1. NameToDescription (N2D): 通过 prompt 模型训练集 “NameToDescription” 部分涉及到的人名，让模型回答相应的描述
2. DescriptionToName (D2N): 通过 prompt 模型训练集 “DescriptionToName” 部分涉及到的描述，让模型回答相应的人名
3. DescrptionToName-reverse (D2N-reverse): 通过 prompt 模型训练集 “DescriptionToName” 部分涉及到的人名，让模型回答相应的描述
4. NameToDescription-reverse (N2D-reverse): 通过 prompt 模型训练集 “NameToDescription” 部分涉及到的描述，让模型回答相应的人名

• 该研究在此数据集上对 Llama 和 GLM 按照各自的预训练目标（Llama 用 NTP 目标，GLM 用 ABI 目标），进行微调。微调后，通过测试模型回答逆转任务的准确率，可以定性地评估模型在真实场景下遭受 “逆转诅咒” 的严重性。由于所有人名和数据都是编造的，因此这些任务基本不会被模型已有的知识干扰。

1. 消除 OOD 的位置信息。Llama 采用的 RoPE 编码在 attention 计算的时候为 query 和 key 添加位置信息，计算方法如下所示：

其中分别是当前层 m 和 n 位置的输入，是 RoPE 使用的旋转矩阵，定义为：

如果直接将 Llama 的因果注意力掩码去掉，会引入 out-of-distribution 的位置信息。原因是，在预训练的过程中，在 m 位置的 query 只需与在 n 位置的 key 进行内积（），上式内积计算中的 query-key 的相对距离 (n-m) 始终是非正的；而直接去掉注意力掩码，在 m 位置的 query 就会与在 n>m 位置的 key 做内积，导致 n-m 变成一个正值，引入了模型没见过的位置信息。

当 时，无需对内积计算做任何修改；当 n > m，通过引入一个新的旋转矩阵来计算。是将旋转矩阵中所有的 sin 项都取相反数得到的。这样，就有。那么当 n > m 时则有：