我们能像避免核灾难一样避免AI灾难

1945年7月16日,世界永远改变了。罗伯特·奥本海默领导的“曼哈顿计划”的“三位一体”测试,在新墨西哥州洛斯阿拉莫斯以南210英里的地方成功引爆了原子弹,这使人类第一次获得了毁灭自己的能力:一枚原子弹已成功爆炸。

1945年8月6日,原子弹投向广岛,三天后又投向长崎,释放出前所未有的毁灭性力量。第二次世界大战的结束带来了脆弱的和平,却也带来了这个新的存在威胁的阴影。

虽然核技术承诺带来充足的能源时代,但它也使我们进入了一个全球规模的核战争可能导致我们文明的末日的未来。我们技术的“爆炸半径”已经增加到了全球规模。越来越明显,治理核技术以避免全球灾难需要国际合作已刻不容缓建立强大的机构。

1952年,11个国家建立了欧洲核子研究中心(CERN)并委托它进行“纯粹基础性质的科学[核]研究合作”,明确CERN的研究将用于公共利益。国际原子能机构(IAEA)也于1957年成立,以监测全球铀储量并限制扩散。在其他方面,这些机构帮助我们在过去的70年里生存下来。

我们认为,人类再次面临技术“爆炸半径”的增加:先进人工智能的发展。如果不受约束,这项强大的技术可能会灭绝人类,但如果安全驾驭,它可能会改变世界。

通用人工智能的幽灵

专家一直在对通用人工智能(AGI)发展敲响警钟。杰出的AI科学家和主要AI公司的领导者,包括OpenAI的Sam Altman和DeepMind的Demis Hassabis,签署了人工智能安全中心的声明,声明称:“与流行病和核战争等社会规模风险一样,减轻来自AI的灭绝风险应该是一个全球优先事项。”几个月前,另一封呼吁暂停巨型AI实验的公开信收到了超过27,000个签名,包括图灵奖获得者Yoshua Bengio和Geoffrey Hinton。

这是因为一小群AI公司(OpenAI、Google Deepmind、Anthropic)正试图创建AGI:不仅仅是ChatGPT这样的聊天机器人,而是“在大多数经济活动中能够自主并胜过人类的AI”。投资者兼英国基础模型特别工作组主席伊恩·霍加思称这些AI为“神一样的AI”,并呼吁政府放慢建造它们的速度。即使是这项技术的开发者自己也预期它带来巨大的危险。ChatGPT背后的公司CEO Altman说超人机智能(SMI)的发展可能是人类继续存在的最大威胁。

世界领导人呼吁建立一个国际机构来应对AGI的威胁:一个针对AI的“CERN”或“IAEA”。6月,拜登总统和英国首相孙纳克讨论了这样一个组织。联合国秘书长古特雷斯认为我们需要一个这样的组织。鉴于国际社会日益增长的合作应对AI风险的共识,我们需要具体阐述这样一个机构可能如何建立。

“人工智能CERN”会是什么样子?

MAGIC(多边AGI联盟)将是世界上唯一专注于安全优先研究和开发先进AI的高级且安全的AI设施。与CERN一样,MAGIC将允许人类将AGI开发从私人公司手中取出,交到一个以安全AI开发为使命的国际组织手中。

MAGIC在高风险的先进AI研究和开发方面将具有排他性。其他实体独立追求AGI开发将是非法的。这不会影响绝大多数AI研究和开发,仅关注类似于我们已经用其他技术处理危险研发的前沿、相关AGI研究。对致命病原体的工程研究要么被完全禁止,要么限制在非常高的生物安全级实验室内进行。与此同时,绝大多数药物研究则由FDA等监管机构监督。

MAGIC仅关注防止高风险的前沿AI系统的开发 – 神一样的AI。 MAGIC完成的研究突破只有在被证明绝对安全后才会与外界共享。

为了确保高风险的AI研究保持在MAGIC内严格监督和控制之下,应制定全球暂停令,禁止使用超过一定计算能力的AI的创建(这里有一份关于为什么计算能力很重要的绝佳概述)。这与我们已经在国际上处理铀的方式类似,铀是用于核武器和能源的主要资源。

在没有竞争压力的情况下,MAGIC可以确保这项变革性技术所需的充分安全和保障,并将利益分配给所有签约方。CERN的存在证明了我们如何通过MAGIC取得成功的先例。

美国和英国处于促进这一多边努力的完美位置,并在今年11月即将召开的人工智能全球峰会之后启动其创立。

避免来自AGI的存在风险是艰巨的,将这一挑战留给私人公司是非常危险的赌注。我们不允许个人或公司为私人使用开发核武器,我们也不应该允许这种情况发生在危险强大的AI身上。我们设法没有用核武器毁灭自己,通过一个新的全球可信机构,我们再次可以确保未来安全 – 但如果我们继续无所作为就不行。我们必须将先进AI的开发交到一个新的全球可信机构手中,为每个人创造一个更安全的未来。

二战后机构通过控制核开发帮助我们避免了核战争。当人类面临新的全球威胁——不受控制的通用人工智能(AGI)时,我们再次需要采取行动来确保我们的未来。