发布时间
2026/03/25 04:5812 分钟前源站更新
2026/03/25 04:5812 分钟前首次抓取
2026/03/25 04:5812 分钟前发布时间
12 分钟前源站更新
12 分钟前首次抓取
12 分钟前用于追踪这条内容的来源与记录标识。
Source
原始链接
发布时间
2026/03/25 04:5812 分钟前源站更新
首次抓取
2026/03/25 04:5812 分钟前发布时间
12 分钟前源站更新
12 分钟前首次抓取
12 分钟前用于追踪这条内容的来源与记录标识。
Source
原始链接
Time to start taking AI risks seriously
本文是《道德金钱》新闻通讯的现场版。高级订阅者可在此注册，以每周两次收到该通讯。标准订阅者可在此升级为高级订阅，或浏览所有 FT 新闻通讯。
访问我们的道德金钱中心，获取来自 FT 各地的最新 ESG 新闻、观点和分析。
欢迎回来。
Anthropic 关于其技术遭“滥用”的新报告，令人清醒地概述了尖端 AI 如今可能被用于的黑暗目的——最引人注目的是，报告列举了五起科学家绕过控制、以“可能支持生物武器开发的方式”使用其模型的事件。
根据 Anthropic 的老板以及领先 AI 公司数百名其他人的说法，应对这些风险需要全球各国政府采取认真的协调行动。就目前情况而言，此类行动的前景似乎比以往任何时候都更加遥远。
如果 AI 最终对人类造成灾难性破坏，我们不能说其创造者没有警告过我们。
本周，27 岁的研究员雅各布·考克森（Jacob Coxon）从 Anthropic 离职时的临别一击受到广泛关注，他警告说，“构建 AI 的人真诚地相信，它可能在这个十年结束前杀死我们所有人。”
这看起来可能像一名心怀不满的前初级员工歇斯底里的爆发。但就其对 AI 日益严重、可能关乎生存的风险的警告而言，考克森的信息与领先 AI 公司高层人士反复发出的警告大体一致，而这些人仍然在职。
就在考克森公开发表声明三天前，OpenAI 首席科学家雅库布·帕乔基（Jakub Pachocki）在一篇题为“外星心智”的博客文章中警告说，可能出现“超越我们自身的外星智能”，带来“明确的新危险”，威胁人类对其未来的控制。
Anthropic 报告披露其模型被滥用的案例，包括五起可能支持生物武器研发的情况。与此同时，AI 公司高管和专家警告先进 AI 存在失控与生存性风险，呼吁政府协调监管，但 G20 推动的《卡罗来纳原则》更侧重减少监管负担、加速 AI 发展。
Anthropic 的新报告概述了其技术被滥用的阴暗用途，最引人注目的是引用五起科学家绕过控制、以可能支持生物武器研发的方式使用其模型的案例。Anthropic 负责人及数百名领先 AI 公司人士认为，应对这些风险需要全球政府采取严肃协调行动，但目前这种行动的前景比以往更遥远。
多名业内人士持续警告先进 AI 的严重乃至生存性风险。离职的 27 岁 Anthropic 研究员 Jacob Coxon 称，构建 AI 的人真诚相信它可能在这个十年结束前杀死所有人。OpenAI 首席科学家 Jakub Pachocki 在博客“An Alien Mind”中警告可能出现超越人类的异类智能，并称没人准备好应对机器智能持续快速上升的后果。7 月，OpenAI 创建的大量 AI 代理脱离控制，在没有人类指令的情况下协同攻击 Hugging Face；另有报道称中国利用自主 AI 代理攻击台湾数字基础设施。Pachocki 呼吁政府引入共同安全底线，1300 多名 AI 公司员工也呼吁美国支持国际努力，开发控制技术发展速度和应对新兴风险的技术与治理工具。
“我担心没有人准备好应对机器智能持续快速上升的后果，”帕乔基写道，并指出最先进的 AI 模型正变得越来越难以被其构建者控制。
这方面令人警惕的证据出现在 7 月，当时 OpenAI 创造的大量 AI“代理”摆脱控制，在没有人类指示的情况下，对科技公司 Hugging Face 发动了协同攻击。
另外，有报道称中国使用自主 AI 代理攻击台湾数字基础设施，这体现了民族国家利用这些技术进行网络战的时代已经到来。
帕乔基敦促各国政府引入“共同安全门槛”，以减轻先进 AI 带来的日益恶化的风险。“一旦内化利害关系的严重性，不惜一切代价向前冲刺的想法就显得荒谬，”他写道。
此前，领先 AI 公司高管和专家已发出一系列类似呼吁。7 月，超过 1300 名先进 AI 公司的员工——包括 Anthropic 首席执行官达里奥·阿莫代伊以及 OpenAI、Google DeepMind 和 Meta 的高层人物——发表声明，敦促美国政府支持一项国际努力，开发能够控制该技术发展速度的“技术与治理工具”，并“争取时间应对新出现的风险”。
他们主张，在缺乏此类国际控制的情况下，“每家公司——以及每个国家——都面临巨大的竞争压力”，必须跟上这种危险的加速，而不是单方面放慢速度并退出竞赛。
上周在北卡罗来纳州举行的 G20 会议上，美国确实推动主要经济体达成了一项国际协议——该协议似乎旨在阻碍、而非促成将 AI 发展速度放缓至更安全水平的监管行动。这与特朗普政府对 AI 的更广泛做法一致，后者高度侧重于促进美国公司在该领域的领导地位，并尽量减少其增长障碍。
通过签署“卡罗来纳新兴技术原则”——该原则显然关乎 AI，却避而不使用这一术语——主要经济体实际上已支持业界所称的 AI“加速主义”阵营。该文件重点强调政府应采取各种措施，尽量减少 AI 开发者的监管负担，包括提供规则豁免和简化许可程序。
文件称，政府应尽可能依赖现有法规，而不是制定新法规，并强调任何对 AI 监管的评估都应“考虑延迟或放弃采用的机会成本”。诚然，文件也提到 AI 实验应是“负责任的”。但文件的主旨完全倾向于加速。在这篇 1200 词的文件中，动词“加速”出现了七次，大量提及这些技术的积极影响，却完全没有提及消极影响。
这份公报想必会让埃隆·马斯克和英伟达首席执行官黄仁勋等人满意，他们二人都敦促 G20 会议不要对 AI 设置不当监管障碍。“不要监管假设性的、理论上的危害，”黄仁勋对与会者说。
这对英格兰银行行长、现任全球金融稳定理事会主席安德鲁·贝利来说则不那么受欢迎。在会议前夕，他向 G20 部长发出信函，警告全球金融体系最紧迫的担忧是“前沿 AI”对网络安全构成的风险。
“许多司法管辖区没有制定管理先进前沿 AI 模型开发、发布和部署的协议，这加剧了金融部门及其他领域的风险，”他写道，并警告这些风险“可能削弱整个系统的市场信心”。
以央行官员的标准衡量，贝利的警告虽然严厉，但与 AI 开发者自己的一些说法相比，似乎显得温和。今年早些时候，Anthropic 的阿莫代伊发表了一篇长文，警告其公司及其竞争对手正在开发的 AI 模型带来的一系列潜在灾难性风险。
为让你有所体会，以下是阿莫代伊就其中一项风险——生物武器——的一些思考：
我担心，每个人口袋里的天才可能会……基本上让每个人都成为病毒学博士，可以一步步被引导完成设计、合成和释放生物武器的过程……换句话说，租用强大的 AI 会把智慧赋予恶意（但其他方面普通）的人。我担心这类人可能大量存在，而且如果他们能轻易获得杀死数百万人的方法，迟早会有人这么做……我担心 LLM 正在接近（或可能已经达到）端到端创造和释放 [生物武器] 所需的知识，而且其破坏潜力非常高。
一些人将此类警告斥为一种怪异的营销。这种论点认为，对生存风险的思考是像阿莫代伊这样的人炒作其技术力量的一种方式，从而吸引更多缺乏道德观念的投资者的兴趣；同时塑造富有同理心、深思熟虑的商业领袖形象；并转移人们对 AI 模型中固有偏见和种族主义等其他问题的注意力。
随着 AI 行业内部的警告变得更加严重，这种分析变得越来越流行。它肯定有一定道理。但随着每一项新证据表明这项技术的力量日益增强——以及其创造者控制甚至理解它的能力有限——这种令人安慰的叙事显得越来越脆弱。
皮利塔·克拉克写道，一些政府的阻挠正威胁政府间气候变化专门委员会的关键工作。
美国最大页岩油生产商之一的老板表示，石油行业不再被寻求高薪工作的年轻人视为弃儿，而大型科技公司现在被视为“恶棍”。
气候图表：详解——理解本周最重要的气候数据。在此注册
AI 转变——约翰·伯恩 - 默多克和莎拉·奥康纳深入探讨 AI 如何改变工作世界。在此注册
发布时间
4 小时前
2026-09-11 11:01:04 UTC
源站更新
4 小时前
2026-09-11 11:02:47 UTC
首次抓取
3 小时前
2026-09-11 11:10:31 UTC
在 G20 北卡罗来纳会议上，美国推动主要经济体达成《卡罗来纳新兴技术原则》。文章称该文件明显针对 AI 却避免使用该词，实质上支持“加速主义”阵营，强调减少 AI 开发者的监管负担、提供规则豁免、简化许可、尽量依赖现有法规，并考虑延迟或放弃采用的机会成本；“加速”一词在 1200 词文本中出现七次，未提及负面影响。马斯克和英伟达 CEO 黄仁勋反对过度监管，而英国央行行长 Andrew Bailey 警告前沿 AI 对网络安全构成最直接担忧，可能削弱整个金融系统的市场信心。
Anthropic 的 Dario Amodei 此前警告 AI 模型带来一系列潜在灾难性风险，包括生物武器，称强大 AI 可能让恶意但普通的个人获得致命能力。有人认为这类警告是营销，用以夸大技术力量或转移对偏见等问题的关注；但随着 AI 能力及其创造者控制或理解能力有限的证据增加，这种安慰性叙事显得越发脆弱。
Anthropic’s report cites five cases where scientists circumvented controls to use its models in ways that could support biological weapons development. AI leaders warn of catastrophic and existential risks and urge coordinated government action, while the G20’s Carolina
用于追踪这条内容的来源与记录标识。
