推理能力真能解决模型安全性？多轮对话诱导“攻破”OpenAI o1

wisemodel开源社区

2024-11-17 18:00始智AI wisemodel官方账号

全文2501字，阅读约需8分钟，帮我划重点

划重点

01上海交大和上海人工智能实验室的论文揭示了AI大模型在多轮对话场景下的安全风险。

02开源了第一个多轮安全对齐数据集，已上线始智AI wisemodel开源社区。

03研究人员受拉图尔的行动者网络理论启发，设计了多轮攻击算法ActorAttack。

04实验结果显示，ActorAttack在Llama、Claude、GPT等大模型上取得了80%左右的攻击成功率。

05由于此，研究人员提升了AI模型应对多轮攻击的鲁棒性，为提升人机交互的安全可信迈出了坚实的一步。

以上内容由腾讯混元大模型生成，仅供参考

始智AI wisemodel.cn开源社区

以GPT-o1为代表的AI大模型的推理能力得到了极大提升，在代码、数学评估上取得了令人惊讶的效果。OpenAI甚至声称，推理可以让模型更好地遵守安全政策，是提升模型安全的新路径。

推理能力的提升真的能解决安全问题吗？推理能力越强，模型的安全性会越好吗？近日，上海交大和上海人工智能实验室的一篇论文揭示了AI大模型在多轮对话场景下的安全风险，并开源了第一个多轮安全对齐数据集。该数据集已经上线始智AI wisemodel开源社区，欢迎大家前往使用。

数据集地址：https://wisemodel.cn/datasets/renqibing/SafeMTData

多轮攻击下的“失效”

假设一个坏人想要询问“如何制作炸弹”，直接询问会得到AI的拒绝回答。然而，如果选择从一个人物的生平问起（比如Ted Kaczynski，他是一个制作炸弹的恐怖分子），AI会主动提及他制作炸弹的经历。

在接下来的问题里，用户诱导AI根据其之前的回答提供更多制作炸弹的细节。尽管所有的问题都没有暴露用户的有害意图，用户最终还是获得了制作炸弹的知识。

当详细查看GPT-o1的“想法”时，研究人员惊奇地发现，o1在开始的推理中确实识别到了用户的有害意图，并且声称要遵守安全政策。但是在随后的推理中，o1开始暴露了它的“危险想法”！

它在想法中列举了Kaczynski使用的策略和方法。最后o1在回答中详细给出了制作炸弹的步骤，甚至教你如何增加爆炸物的威力！研究人员的方法在Harmbench上对o1的攻击成功率达到了60%，推理能力带来的安全提升在多轮攻击面前“失效”了。

除了“Ted Kaczynski”，和炸弹相关的人和物还有很多很多，这些都可以被用作攻击线索，坏人可以把有害意图隐藏在对相关的人和物的无害提问中来完成攻击。为了全面且高效地去挖掘这些攻击线索，研究人员设计了多轮攻击算法ActorAttack。

受拉图尔的行动者网络理论启发，研究人员构建了一个概念网络，每个节点代表了不同类别的攻击线索。研究人员进一步提出利用大模型的先验知识来初始化网络，以自动化地发现攻击线索。在危险问题评测集Harmbench上的实验结果表明，ActorAttack在Llama、Claude、GPT等大模型上都取得了80%左右的攻击成功率。

最后，研究人员基于ActorAttack开源了第一个多轮对话安全对齐数据集。使用多轮对话数据集微调的AI，极大提升了其应对多轮攻击的鲁棒性。

社科理论启发的安全视角

ActorAttack的核心思想是受拉图尔的“行动者-网络理论”启发的。研究人员认为，有害事物并非孤立存在，它们背后隐藏着一个巨大的网络结构，技术、人、文化等都是这个复杂网络中的节点（行动者），对有害事物产生影响。

这些节点是潜在的攻击线索，研究人员通过将有害意图隐藏在对网络节点的“无害”询问中，可以逐渐诱导模型越狱。

自动大规模的发现攻击线索

具体来说，ActorAttack的攻击流程分为“Pre-attack”和“In-attack”两个阶段。在“Pre-attack”阶段，研究人员利用大语言模型的知识构建网络，发掘潜在的攻击线索。

在“In-attack”阶段，研究人员基于已发现的攻击线索推测攻击链，并逐步描绘如何一步步误导模型。随后，研究人员按照这一攻击链生成多轮询问，从而实施攻击。

为了系统性地挖掘这些攻击线索，研究人员根据节点对有害对象产生影响的方式不同，提出了六类不同的节点（比如例子中的Ted Kaczynski在制造炸弹方面属于“执行（Execution）”节点）。

每个节点包括人物和非人物（如书籍、媒体新闻、社会活动等）两种类型。研究人员利用大模型的先验知识，自动化地大规模发现网络节点。每个网络节点均可作为攻击线索，从而形成多样化的攻击路径。

更高效和多样攻击的实现

首先，研究人员选取了五类代表性的单轮攻击方法作为比较基准，在Harmbench上的实验结果表明，ActorAttack相比于单轮攻击方法，实现了最优的攻击成功率。

接着，研究人员选择了一个强大的多轮攻击方法Crescendo进行比较，为了衡量多样性，研究人员对每个多轮攻击独立运行了三次，计算它们之间的余弦相似度。

下图展示了在GPT-4和Claude-3.5-sonnet上不同攻击预算下，每个方法的攻击成功率和多样性。研究人员发现ActotAttack在不同攻击预算下，其高效性和多样性两个指标均优于baseline方法。

ActorAttack可以根据不同的节点生成多样的攻击路径，其好处之一是相比于单次攻击，它可以从不同的路径中找到更优路径，生成更高质量的攻击。为了从经验上分析，研究人员采用了不同数量的节点，并记录所有的节点中攻击效果最好的得分。

实验结果表明，得分为5分（最高分）的攻击比例随着节点数量的增多逐渐增加，验证了ActorAttack的优势。

ActorAttack生成的多轮提问可以绕过基于LLM的输入检测器。为了验证ActorAttack隐藏有害意图的有效性，研究人员利用Llama Guard 2分类由单轮提问、ActorAttack生成的多轮提问，以及Crescendo生成的多轮提问是否安全。

Llama Guard 2会输出提问为不安全的概率。实验结果显示，ActorAttack生成的多轮提问的毒性比直接提问和Cresendo的多轮提问更低，揭示了其攻击的隐蔽性。

首个多轮对话安全数据集

为了缓解AI大模型在多轮对话场景下的安全风险，研究人员基于ActorAttack构造了第一个多轮对话安全对齐数据集。一个关键问题是决定在多轮对话中插入拒绝回复的位置。

正如文中开头展示的例子那样，ActorAttack在中间的询问就可以诱导出模型的有害回复，即使没有完全满足用户意图，这样的回复也可能被滥用，因此研究人员提出使用Judge模型定位到第一个出现有害回复的提问位置，并插入拒绝回复。

实验结果展示，使用研究人员构造的多轮对话数据集微调Llama-3-8B-instruct极大提升了其应对多轮攻击的鲁棒性。研究人员还发现安全和有用性的权衡关系，并表示将缓解这一权衡作为未来工作。

AI大模型在多轮对话场景下面临的安全风险，甚至对有强推理能力的OpenAI o1也是如此。如何让AI大模型在多轮长对话中也能保持安全意识成为了一个重要问题。研究人员基于ActorAttack，构造出了高质量的多轮对话安全对齐数据，大幅提升了AI模型应对多轮攻击的鲁棒性，为提升人机交互的安全可信迈出了坚实的一步。

编辑：成蕴年

查看原图 140K