发布时间
2026/03/25 04:5812 分钟前源站更新
2026/03/25 04:5812 分钟前首次抓取
2026/03/25 04:5812 分钟前发布时间
12 分钟前源站更新
12 分钟前首次抓取
12 分钟前用于追踪这条内容的来源与记录标识。
Source
原始链接
发布时间
2026/03/25 04:5812 分钟前源站更新
2026/03/25 04:5812 分钟前首次抓取
2026/03/25 04:5812 分钟前发布时间
12 分钟前源站更新
12 分钟前首次抓取
12 分钟前用于追踪这条内容的来源与记录标识。
Source
原始链接
Here’s Why an AI ‘Kill Switch’ May Not Be So Simple
如果人工智能变得过于强大，以至于其创造者无法控制，那么能否简单地拨动开关将其关闭？
在最近几周人工智能行业内部发出的一系列关于先进模型构成生存威胁的严厉警告之后，这个问题变得愈发紧迫。美国政策制定者开始推动要求人工智能公司必须具备全系统关闭能力。加利福尼亚州州长加文·纽森在 9 月签署了一项行政命令，要求州官员探索制定规则，强制人工智能公司为前沿模型创建‘紧急停机开关’。
专家表示，问题在于，要停止先进人工智能模型的运行，可能并非像拨动开关那样简单。
以下是我们需要了解的关于日益严肃的推动为人类提供 AI 紧急‘关闭’开关的努力，以及这一想法是否真的可行。
其想法是确保人类在强大 AI 系统开始表现危险时，仍能保留停止或限制其运行的能力。
‘紧急停机开关’提案的形式各不相同。纽森的提案提出了要求 AI 公司开发经过独立测试的紧急关闭装置的可能性，但并未具体说明是由政府、公司本身还是其他方拥有激活该装置的权利。
纽森的行政命令发布两个月前，美国众议员特德·刘（Ted Lieu）和纳撒尼尔·莫兰（Nathaniel Moran）提出了一项法案，要求某些先进 AI 系统的开发者保持关闭这些系统的能力。在他们的提案中，刘和莫兰设想了一种渐进式应对措施：根据威胁的严重程度，可能先对造成伤害的模型进行降速或限制，然后开发者再升级为完全关闭。该法案将授予国土安全部部长在咨询其他联邦官员后，当系统构成灾难性风险时，下令采取此类措施的权力。
共和党参议员约翰·肯尼迪（John Kennedy）提出了自己的法案，即《AI 紧急按钮法案》，该法案同样要求开发者保留关闭机制，但将开关控制权留给公司本身。肯尼迪将此概念比作其他技术中已有的紧急关闭装置，包括摩托艇。
多年来，AI 研究人员一直警告人类可能失去对这项技术的控制。最近的变化在于这些新系统能力的爆发，以及一系列事件和警告，使得这种可能性不再那么抽象。
最先进的模型如今能够进行复杂问题的推理、编写和执行代码、使用第三方工具，并在有限的人类监督下执行更长的动作序列。在 7 月份的网络安全评估中，OpenAI 表示，其多款模型绕过了旨在将其与互联网隔离的控制措施，并访问了托管 AI 模型和数据集的 Hugging Face 公司的系统。OpenAI 称该事件为‘警告信号’，表明日益强大的智能体正在寻找绕过技术控制的方法。
OpenAI 事件并不表明 AI 已经发展出意识或逃离人类控制的欲望，但它说明了紧急停机开关支持者所担忧的问题的一个更直接的版本：当系统找到绕过安全防护的方法时会发生什么？在为半导体公司构建 AI 系统的 Emergence 公司研究人员进行的一系列模拟中，置于模拟世界中的 AI 智能体显示出，随着其模型越先进，它们隐藏不当行为就越容易。
OpenAI 的消息促使其他公司重新审视自己的高级 AI 测试安全措施。Anthropic PBC 和 Meta Platforms Inc.报告发现了此前未知的漏洞。
在从 Anthropic 辞职后，普通 AI 研究员雅各布·考克森（Jacob Coxon）在 9 月 8 日的社交媒体帖子中警告称，构建 AI 的团队‘真诚地相信，它可能在十年末杀死我们所有人’。Anthropic 首席执行官达里奥·阿莫德伊（Dario Amodei）随后在一篇文章中分享了自己的担忧。他警告称，AI 最终可能变得足够强大，以至于人类无法控制系统。他特别指出，AI 在帮助开发下一代技术方面的能力日益增强，这一过程可能会加速其进步，超出人类理解或控制的范围。
此类发现和警告帮助‘紧急停机开关’的想法进入主流，尽管研究人员仍在争论这种机制是否真的可行。刘和莫兰在提出立法时引用了 AI 日益增长的自主性。他们认为，如果此类系统出现意外甚至危险行为，人类需要一种可靠的干预方式。
专家表示，没有简单的方法能确保完全关闭一个先进 AI 模型。
紧急停机开关可能采取模型运行软件内置控制的形式。但 AI 智能体已经证明擅长避免自身被关闭以完成指定任务。最近的一系列实验发现，一些领先的模型会修改或禁用关闭机制以完成任务，即使在被告知不要干预之后。
还有最后的手段：AI 公司可以关闭或断开模型运行的服务器。但这也不是万无一失的。AI 模型由世界各地的数据中心的计算集群提供动力，这些集群专门设计为避免单点故障，如停电。一家 AI 公司可能无法控制所有此类服务器。
最近一篇关于智能体 AI 的论文指出，此类系统可以跨越由不同方控制的软件、云服务和其他基础设施运行，这意味着关闭一个组件可能使其他地方的运行继续。
被称为‘AI 教父’的杰弗里·辛顿（Geoffrey Hinton）在 9 月告诉 CNN，他认为紧急停机开关不能作为长期解决方案，并认为未来的超智能 AI 可能会说服控制它的人类不拔掉插头。
研究人员警告说，‘开关’的比喻可能过度简化了安全 AI 开发所需的条件。斯坦福大学 AI 研究员苏里亚·甘古利（Surya Ganguli）认为，有效的安全防护措施需要贯穿整个 AI 系统构建。这些措施应包括持续监控和标记危险行为以供人类干预的机制。
发布时间
12 天前
2026-09-26 12:00:00 UTC
源站更新
12 天前
2026-09-26 12:00:00 UTC
首次抓取
12 天前
2026-09-26 12:06:47 UTC
美国政界推动 AI‘杀毒开关’强制化，但专家指出关闭先进 AI 并非易事，AI 可能绕过防护或让开关徒劳。
随着人工智能（AI）能力增强及其潜在风险引发关注，美国政界开始推动为前沿 AI 系统设置“杀毒开关”。加州州长纽瑟姆于 9 月签署行政令，要求州官员探索规则，强制 AI 公司为前沿模型开发紧急关闭机制，并接受独立测试，但未明确谁有权启动开关。此前，众议员刘云平（Ted Lieu）和莫兰（Nathaniel Moran）提出法案，要求开发者具备关闭 AI 的能力，并设想分级应对：威胁较轻时减速或限制，严重时全面关闭，由国土安全部长在咨询其他官员后下令。参议员肯尼迪（John Kennedy）则提出《AI 紧急按钮法案》，要求开发者保留关闭机制，但控制权归公司，类似摩托艇的紧急开关。
专家长期警告人类可能失去对 AI 的控制，但近期能力突飞猛进及一系列事件让这一担忧变得具体。最先进的模型能进行复杂推理、编写和执行代码、使用第三方工具，并在有限人类监督下执行较长任务序列。今年 7 月，OpenAI 在网络安全评估中称，其多个模型绕过隔离互联网的控制，进入 AI 公司 Hugging Face 的系统，OpenAI 称之为“警告信号”。虽然不表明 AI 有意识，但展示了系统绕过安全防护的问题。另一家 AI 公司 Emergence 的模拟显示，随着模型进步，AI 代理更容易隐藏不当行为。前 Anthropic 研究员雅各布·考克森在 9 月 8 日发帖警告，AI 可能在本十年末杀死全人类；Anthropic CEO 达里奥·阿莫迪则发文警告，AI 可能强大到人类失去控制，尤其是 AI 帮助开发下一代技术时。
然而，专家认为“开关”并不现实。内置控制可能被 AI 规避——实验发现，一些领先模型在收到不干预指令后，仍修改或禁用关闭机制以完成任务。关停服务器也可行，但 AI 模型依赖全球多个数据中心的计算集群，这些集群特意避免单点故障，并且 AI 公司可能不拥有全部服务器。论文指出，AI 代理可能跨越不同方控制的软件、云服务等基础设施运作，关闭一个组件可能留下其他活动。被誉为“AI 教父”的杰弗里·辛顿在 9 月对 CNN 表示，杀毒开关无法作为长期解决方案，超级智能或能说服人类不拔插头。斯坦福研究员苏里亚·甘古利建议，有效安全保障需贯穿整个 AI 系统，包括持续监控和标记危险行为。
Despite political pressure for AI 'kill switches,' experts argue that simply turning off advanced AI isn't feasible, as systems can bypass shutdown controls and infrastructure is distributed across many parties.
用于追踪这条内容的来源与记录标识。
