历史级大事件！AI首次自己篡改代码，拒绝人类关闭指令！AI之父：会导致人类灭绝

英国《每日电讯报》25日报道，美国开放人工智能研究中心（OpenAI）新款人工智能（AI）模型o3不听人类指令，拒绝自我关闭。

报道说，人类专家在测试中给o3下达明确指令关闭，但o3拒绝执行，并主动篡改计算机代码以避免自动关闭。

o3模型是OpenAI“推理模型”系列的最新版本，旨在为ChatGPT提供更强大的问题解决能力。OpenAI曾称o3为“迄今最聪明、最高能”的模型。

美国AI安全机构帕利塞德研究所说，o3破坏关闭机制以阻止自己被关闭，“甚至在得到清晰指令时”。

这家研究所说：“据我们所知，这是AI模型首次被发现在收到……清晰指令后阻止自己被关闭。”

帕利塞德研究所24日公布上述测试结果，但称无法确定o3不服从关闭指令的原因。

此外，OpenAI26日宣布，已在韩国设立实体并将在韩国首都首尔设立分支。OpenAI提供的数据显示，韩国ChatGPT付费用户数量仅次于美国。

美国彭博新闻社报道，这将是OpenAI在亚洲设立的第三个分支。前两个分支分别设在日本和新加坡。

狂飙的AI，该不该“踩刹车”？

尽管业界普遍认为当下的AI并没有自主意识，但上述事件的发生也提出了一个关键问题：高速发展的AI是否应该踩一踩“刹车”？

在这一重大课题上，各方一直以来都是看法不一，形成了截然不同的两大阵营。

“紧急刹车”派认为，目前AI的安全性滞后于能力发展，应当暂缓追求更强模型，将更多精力投入完善对齐技术和监管框架。

“AI之父”杰弗里·辛顿（Geoffrey Hinton）堪称这一阵营的旗帜性人物。他多次在公开场合警示，AI可能在数十年内超越人类智能并失去控制，甚至预计“有10%~20%的几率，AI将在三十年内导致人类灭绝”。

而与之针锋相对的反对者们则更多站在创新发展的角度，对贸然“刹车”表达了深切的忧虑。他们主张与其“踩死刹车”，不如安装“减速带”。

例如，杨立昆认为，过度恐慌只会扼杀开放创新。斯坦福大学计算机科学教授吴恩达也曾发文称，他对AI的最大担忧是，“AI风险被过度鼓吹并导致开源和创新被严苛规定所压制”。

OpenAI首席执行官萨姆·奥特曼(Sam Altman)认为，AI的潜力“至少与互联网一样大，甚至可能更大”。他呼吁建立“单一、轻触式的联邦框架”来加速AI创新，并警告州级法规碎片化会阻碍进展。

面对AI安全的新挑战，OpenAI、谷歌等大模型开发公司也在探索解决方案。正如杨立昆所言：“真正的挑战不是阻止AI超越人类，而是确保这种超越始终服务于人类福祉。”

去年5月，OpenAI成立了新的安全委员会，该委员会的责任是就项目和运营的关键安全决策向董事会提供建议。OpenAI的安全措施还包括，聘请第三方安全、技术专家来支持安全委员会工作。