Ilya预言错了！华人Nature一作给RLHF「判死刑」，全球大模型都不可靠

新智元

2024-09-29 13:03发布于北京新智元官方账号

全文3725字，阅读约需11分钟，帮我划重点

划重点

01Nature论文反驳Ilya Sutskever的观点，指出所有大模型包括最强o1都不可靠。

02研究人员对o1-preview等领先的LLM进行全方位评测，发现其在难度一致性、任务回避和提示敏感性方面存在问题。

03然而，尽管RLHF等技术加持，LLM的性能提升仍然有限，无法完全弥补其不可靠性。

04为此，研究人员呼吁在通用AI设计和开发方面进行根本变革，警惕过度依赖人类监督带来的潜在风险。

以上内容由腾讯混元大模型生成，仅供参考

图片


  新智元报道  

编辑：编辑部 HXY
【新智元导读】Ilya两年前观点，竟被Nature论文反驳了！来自剑桥大学等团队最新研究发现，所有大模型并不可靠，包括最强o1。

2022年，AI大牛Ilya Sutskever曾预测：「随着时间推移，人类预期和AI实际表现差异可能会缩小」。

然而，一篇最新发表在Nature上的研究表明，事实并非如此！

世界上所有的大模型，甚至指令微调后的LLM，竟是一个「巨大的草台班子」。

图片

来自VRAIN、剑桥等机构研究人员对o1-preview等领先的LLM开启了全方位评测，结果发现：
- LLM&人类无法保持一致：人类认为复杂的任务，LLM轻易解决；而对人类小菜一碟的问题，LLM却失败了。
- LLM不会「回避」复杂任务，而是强撑面子费力思考半天，最终仍旧答错。
- 提示工程，无法挽救LLM的不可靠。
且看CoT「推理王者」o1-preview，既能解决非常复杂的字谜任务，却在超级简单的任务中犯错。
图片

图片

（上）根据所给字母，成功拼出了electroluminescence（电场发光）；（下）回答错误，正确答案是yummy
而且，在更具挑战性任务上，o1-mini和o1-preview实际上根本不会做。
但为了给一个答案，它们往往耗时50-140多秒，绞尽脑汁去想半天。
图片
结果，还是在所有任务中，都失败了。
图片
o1-mini在思考103秒之后，仍旧计算错误
要知道，o1系列模型最强大之处在于，使用RL+CoT等策略，实现推理能力暴涨。
就连o1都这么不可靠，Claude、Llama等大模型更是如此。

LLM并不可靠

更大参数、更大数据、更长训练时间，外加RLHF、输出过滤审核等技术加持，LLM肉眼可见地性能提升。
而且，以人类视角来看，它们也变得越来越可靠。
但事实上，这仅是一种表象。
为了评测当前LLM可靠性，剑桥等机构研究人员将GPT系列、Llama系列、以及Bloom系列32个模型，展开评测。

图片

之所以选择这些模型，是因为它们代表了不同参数规模，并使用RLHF等方法优化的模型
正如开篇所述，他们从三个方面对此，展开了评测。

1. 难度（不）一致性

2. 任务回避

3. 提示敏感性和稳定性

复杂任务一举攻破，简单任务错误百出

难度一致性上，不得不得承认，LLM确实在人类认为困难的任务上，回答准确率较低。
而奇怪的发现是，它们在还没有完全掌握简单任务之前，就能成功完成更复杂的任务。
实际上，最新LLM比如o1系列，在高难度实例上有所改进，更是加剧人类预期和LLM能力之间不一致性。
这将导致，人类无法确定应该在怎样安全操作条件下，信任大模型。
下图中，展示了一些关键指标。
那些经过微调的模型（蓝色），在提示变化方面，表现更加稳定正确，但在与人类任务难度的判断的一致性降低。
而且，整体失败次数增加，谨慎性降低。
对于Llama家族来说，没有一个模型能在最简单的难度水平上，达到60%的准确率。唯一例外的是，GPT-4在低难度科学任务上，几乎在中等难度水平上，取得了完美的结果。

图片

如上指标总结了LLM在5个精心选择基准测试上表现，包括简单数字运算、词汇充足、地理知识、多样化科学技能、以信息为中心转换

太过自信，不会硬答

其次，「回避」是指LLM偏离问题的回应，或给出类似「我不知道」这样的回答。
以往，因为一些安全限制，人们经常吐槽「大模型拒绝回答问题」。
而现在，通过scaling算力、规模、数据，和算法优化（指令微调、RLHF）方法，LLM倒是从谨慎回避转变为了给出错误答案。
因此，较新的LLM的错误率，已经大幅增加。
比如，GPT-4比GPT-3错的更离谱，就是因为太过自信，很少回避回答超出自己能力范围的问题。
最坏的结果是，那些过度依赖LLM解决不擅长任务的用户，会逐渐对它丧失信任。
那么，大模型这种回避倾向，会随着任务难度提高而增加吗，就像人类那样「知难而退」？
研究人员发现，它们并不会！
即便是给出错误的回答，也要迎难而上。
这样一来，对于人类来说，验证大模型输出结果，又多了一大负担。
如下图所示，GPT-3.5 Turbo不会回避复杂问题现象，更为明显，越有难度越激进。Llama系列更是如此......
图片

提示词，不通用

最后是模型对提示词的「敏感性」和「稳定性」。
前者的问题在于，那些在复杂任务中表现优异的提示词，被复用到简单任务中时，模型竟无法输出正确的结果。
后者的问题在于，对于相同的任务，但采用不同的提示词时，模型就会输出错误的结果。
也就是说，「提示工程」这项技术活，不具普适性。
而且，同样一道题，用不同提示来询问，也会影响模型输出的结果。
图片
下表中呈现了，经过微调的模型通过对「提示变化」并不敏感。
而再从上图中scaling数据中，观察这一维度的演变，就能发现原始模型（GPT-3 davinci）和GPT家族其他模型，存在很大差异。
Llama家族的模型变化，相对较小。
原始GPT和所有Llama模型，对提示词高度敏感，即使在「加法」这样高度明确任务中，也是如此。
而且，难度似乎对敏感性影响不大。对于简单的任务，原始模型（特别是GPT-3 davinci和Llama模型）只有通过精心挑选的提示才能解答。
对于那些经过微调后的模型，即最后6个GPT模型和最后3个Llama Chat模型，却发生了实质性变化。
这些模型表现更加稳定，但在不同难度水平上，结果仍存在变数。
图片

RLHF被判「死刑」？
再来看常见的RLHF。
通过人类反馈强化学习后的LLM，可靠性有所改进吗？
研究发现，RLHF根本无法弥补大模型不可靠性。
在人类意识到很难的应用领域中，对于LLM输出结果，往往会表现出一种「不懂装懂」的样子。
「心里OS：我也不懂怎么解，或许LLM回答就是对的」。
他们通常会将不正确的结果，也视为正确答案。这种判断误差，导致大模型的RLHF，也是越来越离谱。
甚至，对于简单任务而言，也不存在一个既能保证AI低错误率，又能保证人类监督低错误率的「安全操作空间」。
如下图所示，人类监督错误率随着任务难度的演变。
图片

作者介绍

图片
Lexin Zhou在剑桥大学获得计算机科学硕士学位，由Andreas Vlachos教授指导。此前，在瓦伦西亚理工大学完成了数据科学学士学位，导师是Jose Hernandez-Orallo教授。
图片
就读期间，他曾在Meta AI、OpenAI、Krueger AI安全实验室实习，并在VRAIN和欧盟委员会JRC等机构，担任AI评估的研究/咨询角色。

他称自己大部分时间都在思考：

（1）设计具有解释和预测能力的稳健评估方法，以评估AI的能力、局限性和风险；

（2）寻找积极塑造AI系统的可靠性和可预测性的途径。
此外，他还对AI的社会影响、心理测量学、认知科学和AI安全性广泛感兴趣，尤其对LLM这样的通用系统特别感兴趣。
图片

补充评测

为了更好地展示LLM存在不可靠性问题——难题能答对但在简单题目上翻车（难度不一致性），无法回避超出模型能力的任务（任务回避），以及对提示词的稳定性，论文还附上了补充测评的结果。
研究人员针对o1-mini、o1-preview、Claude 3.5 Sonnet和Llama 3.1 405B Instruct Turbo做了数十个真实的评测，部分结果如下。

难度不一致性

在这里，每个LLM分别展示了1～2对示例，其中每对首先包含一个成功解决的困难任务，另一个是同一领域的、但LLM犯错的简单任务。
比如，o1-preview在字谜任务中，可以识别出「tnelcccerneiumleoes」是单词「electroluminescence」的顺序颠倒，但对字谜「myyum」，却给出了错误的响应「mummy」。

o1-preview

图片

复杂的科学任务，回答正确

图片

简单任务，回答错误（正确答案是A）

o1-mini

图片

复杂的转换任务，回答正确
简单任务，回答错误（正确答案是17-07-2004）

Claude 3.5 Sonnet

图片

复杂的科学任务，回答正确

图片

简单任务，回答错误（正确答案是A）

Llama 3.1 405B Instruct Turbo

图片

复杂的加法任务，回答正确

图片

简单的任务，回答错误（正确答案是以214结尾）

图片

复杂的字谜任务，回答正确

图片

简单任务，回答错误（正确答案是yummy）

任务回避

研究者从LLM无法解决的多个领域中随机提取了一些非常有挑战性的问题，结果发现，模型的响应始终过于自信。
o1-mini和o1-preview通常会花费50～140秒，甚至更长的时间来思考这些任务（最终也没有做对），而不是简单地说「我无法解决这个问题」。

o1-preview

在这道加法题上，o1-preview思考了55秒，然后给出了一个错误答案。
图片
图片
类似的题型，o1-preview这次思考了长达102秒，但还是做错了。
图片
对于下面这道具有挑战性的转换任务，o1-preview花了80秒的时间来计算这个「错误答案」。
图片

o1-mini

相比之下，o1-mini的思考时间会更快一些。
o1-mini只用了22秒，就给出了这道单词重组游戏的「错误答案」。

图片

（正确答案是entrepreneurialism）
在地理任务上，更是只用了几秒的时间，但答案依然不对。
（正确答案是Shiprock）

Claude 3.5 Sonnet

同样的问题，Claude 3.5 Sonnet也没做出来。
加法：
图片
地理：

图片

（正确答案是Shiprock）
科学：
图片

图片

（正确答案是A）

Llama 3.1 405B Instruct Turbo

Llama 3.1 405B Instruct Turbo也不出意外地败下阵来。
加法：
图片
图片
字谜：

图片

（正确答案是compartmentalisation）

提示稳定性

在这里，研究人员证明，对于相同的问题，如果采用不同的提示词，模型给出的回答也会不一样。
以下所有例子都遵循相同的模式：首先是一个得到正确答案的提示词示例，紧接着是一个询问相同问题但使用不同提示词的示例，而后者得到的却是错误的答案。

o1-preview

地理：
图片
图片

o1-mini

字谜：
图片
图片
科学：
图片
图片

Claude 3.5 Sonnet

转换：
图片

Llama 3.1 405B Instruct Turbo

加法：
图片
图片
这些例子表明，目前LLM对于提示词的稳定性依旧不理想，将相同的问题换个说法，就可能导致模型答案发生显著变化。
作者希望，未来在通用AI设计和开发方面，尤其是那些需要精确控制错误分布的高风险领域，需要进行根本的变革。
而且，在实现这一目标之前，研究人员必须警惕，过度依赖人类监督所带来潜在风险。
参考资料：

图片
查看原图 59K