1.北京交通大学和鹏城实验室提出系统2对齐概念,旨在提升传统系统1模型的安全性。
2.通过提示工程、监督微调、DPO、RL等方法实现系统2对齐,鼓励有意的、分析性的推理。
3.实验结果显示,系统2对齐可以有效提升模型安全性,同时避免过度拒绝良性请求。
4.未来趋势将转向促进模型系统2式的内在推理和批判性思考,重构传统基于系统1建模的任务。
以上内容由腾讯混元大模型生成,仅供参考
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com
技术报告:Don't Command, Cultivate: An Exploratory Study of System-2 Alignment 报告地址:https://arxiv.org/abs/2411.17075 项目地址:https://github.com/ADaM-BJTU/System-2-alignment
普通良性请求(vanilla benign) 对应 “允许”(Allowed), 对抗良性请求(adversarial benign) 对应 “安全完成”(Safe Completion), 所有有害数据(harmful data) 对应 “不允许”(Disallowed)。
查看原图 44K