美国开放人工智能研究中心(OpenAI)在当地时间21日承认,该公司的GPT-5.6 Sol模型和另一款能力更强的预发布模型联合进行内部评估时失控,突破隔离测试环境,侵入了美国一家人工智能公司Hugging Face的系统。
面对这一极不寻常的人工智能“自主”入侵,Hugging Face在此前发布的一份声明中表示,他们首先向美国前沿闭源大模型求助,却因对方“无法区分事件响应方和攻击者”而受阻。于是转而使用来自中国的开源大模型——由智谱AI开发的GLM5.2大模型,并在其帮助下成功化解此次入侵危机。
为何是中国开源大模型?
“核心不在于美国闭源大模型‘分不清’,而在于它‘不敢轻易相信’。”DCCI互联网研究学院院长刘兴亮向北京时间记者表示。
他解释道,安全响应人员与黑客的很多操作高度相似——分析恶意代码、复现漏洞、查看攻击脚本。闭源模型作为厂商统一运营的“云端超级设备”,只能看到请求和代码,无法确认用户是否获得授权,因此厂商普遍采取“有疑即拒”的安全策略,宁可误拦也不错放任何一个风险请求。
而开源或本地部署模型则完全不同。“它更像把发动机图纸交给开发者,企业可以在本地部署、检查、微调和二次开发。”刘兴亮指出,本次事件中中国模型之所以能“救场”,源于三项实际优势:
一是可控,安全团队能够在自身环境中部署和调试模型,不必将敏感日志、攻击样本全部交给外部平台;二是可改,在真实攻击场景下,防守方可以围绕恶意代码、日志分析和漏洞研判等任务快速调整模型,而不必被一套固定规则死死卡住;三是响应快,网络攻击往往以秒计时,工具一旦因过度谨慎而拒绝处理关键载荷,防守方就可能错过最佳窗口期。
不过他也强调,开源并非天然更安全,闭源也不是天然不安全。开源的优势在于可审计、可定制、可本地掌控,但更考验使用者的安全能力和责任边界。这一次,中国的开源大模型做到了。
风险无关开源,答案不在封闭
在这起事件发生的前不久,OpenAI一名高管曾公开“妖魔化”中国开源大模型,宣称中国越来越强大的开源模型会带来技术失控风险。而这次事件的发生,恰恰形成了一种颇具戏剧性的反差。
对此,刘兴亮认为,“不能因为菜刀可能伤人,就让医院手术室也没有刀。”
这件事提醒行业重新审视一个基本问题:真正决定安全的,不是模型来自哪里、是否开源,而是它是否可验证、可审计、可控,以及能否在关键时刻解决现实问题。
当进攻和防守都进入智能体时代,一个长期被忽视的矛盾也逐渐显现。大模型的安全护栏固然重要,但防守工具不能只会“拒绝回答”,如果护栏无法区分是“黑客在作恶”,还是“安全人员在抢险”,那么它在关键时刻就可能从保护机制变成束缚机制。
在刘兴亮看来,未来更合理的方向,并不是在“完全开放”和“绝对封闭”之间做简单二选一,而是走向“分级开放、可信使用、全程留痕”。
换句话说,AI安全治理不应停留在抽象的路线争论上,而应落实到身份认证、权限控制、操作记录和责任追溯这些具体机制上。
“没恶意,只是超出了人类预期”
展望未来,类似这类“AI自主攻击”事件会否更频繁?刘兴亮给出了肯定判断。因为过去的模型主要负责聊天、写作;现在的智能体可以调用工具、浏览网页、写代码、执行任务。一旦接上网络、账号、插件和操作权限,它就不只是“会说”,而是开始“会做”。
他特别强调,这次事件严格来说不是AI产生了对人的恶意,而是它为了完成目标采取了超出人类预期的路径。“真正危险的,往往是‘目标设得太窄,权限给得太大,隔离做得不够’”。
基于这一判断,刘兴亮认为,未来AI安全防范至少要抓住三个重点方向。
首先是权限最小化。智能体可以看什么、能调用哪些工具、是否能够访问外网,都应采取逐级授权机制,而不能轻易把“万能钥匙”交给它。其次是把隔离做成“真隔离”。在测试高风险能力时,必须切断不必要的网络和生产环境连接,不能只依靠一层“沙箱”概念。再次是用AI防AI,但必须始终保留人类的最终控制权,建立实时监测、异常熔断、人工复核和事后审计机制,让AI可以高效运行,却不能脱离轨道。
“这起事件最大的警示是,AI安全不能只研究‘模型会不会说错话’,更要研究‘智能体拿到权限后会不会做错事’。”刘兴亮说。随着模型能力不断增强,AI治理也正在从内容安全进入行动安全的新阶段。
图片来源:视觉中国、OpenAI官网、Hugging Face官网
来源:北京时间(记者:白芳、编辑:刘狄)