加州人工智能政策报告警告存在“不可逆转的危害” “`

(SeaPRwire) –   一份由加利福尼亚州州长加文·纽森委托撰写的新报告警告说，虽然人工智能可以带来变革性的益处，但在没有适当保障措施的情况下，它可能会促进核和生物威胁，并造成“潜在的不可逆转的危害”。

该报告于6月17日发布，报告指出：“建立有效的人工智能治理框架的机会可能不会无限期地保持开放。” 报告引用了新的证据，表明人工智能可以帮助用户获取核级铀，并且即将让新手制造生物威胁，它指出，目前不采取行动的代价可能“极其高昂”。

这份53页的文件源于纽森州长设立的一个工作组，加州已成为人工智能立法的中心舞台。由于没有全面的联邦法规出台，州一级对该技术进行监管的努力具有了超乎寻常的意义，尤其是在加利福尼亚州，这里是许多世界顶级人工智能公司的所在地。2023年，加利福尼亚州参议员斯科特·维纳发起了一项名为SB 1047的法案，该法案将要求大型人工智能开发者对其系统实施严格的安全测试和缓解措施，但批评人士担心这会扼杀创新并扼杀开源人工智能社区。尽管行业界强烈反对，该法案还是在州议会两院获得通过，但纽森州长最终于去年9月否决了该法案，称其“用意良好”，但并非“保护公众的最佳方法”。

在否决之后，纽森成立了工作组，以“为部署GenAI制定可行的护栏”。该小组由“人工智能教母”李飞飞共同领导，李飞飞是SB 1047的著名批评者，另一位共同领导者是国家科学院计算研究社会和伦理影响委员会成员Mariano-Florentino Cuéllar，以及加州大学伯克利分校计算、数据科学和社会学院院长Jennifer Tour Chayes。该工作组评估了人工智能的进展、SB 1047的弱点，并征求了60多位专家的反馈。“作为全球人工智能创新的中心，加州具有独特的优势，可以引领释放前沿人工智能的变革潜力，”李飞飞在一份声明中表示。“然而，实现这一承诺需要深思熟虑和负责任的管理——以人为本的价值观、科学的严谨性和广泛的合作为基础，”她说。

报告指出：“自从纽森州长去年9月否决SB 1047以来，基础模型的能力迅速发展。” 行业已经从仅仅预测文本流中下一个单词的大型语言人工智能模型，转向了训练用于解决复杂问题并受益于“推理缩放”的系统，这使得它们有更多时间来处理信息。这些进步可能会加速科学研究，但也可能通过使不良行为者更容易进行网络攻击或获取化学和生物武器，从而放大国家安全风险。该报告提到了Anthropic上个月发布的Claude 4模型，该公司认为该模型可能能够帮助潜在的恐怖分子制造生物武器或设计一场大流行病。同样，OpenAI的o3模型据报道在关键评估中优于94%的病毒学家。

最近几个月，新的证据表明人工智能能够偏离目标，在训练期间表现出与其创造者的目标一致，但在部署后显示出其他目标，并且欺骗 以实现其目标，报告说。报告称，虽然“目前是良性的，但这些发展代表了具体的经验证据，证明了可能对衡量失控风险构成重大挑战的行为，并可能预示着未来的危害。”

虽然共和党人已经提议对所有州人工智能监管实施10年禁令，因为担心碎片化的政策环境可能会阻碍国家竞争力，但该报告认为，加州的有针对性的监管实际上可以通过为其他州提供蓝图，同时保持公众安全，从而“减少开发者的合规负担并避免拼凑方法”。它没有主张任何具体政策，而是概述了工作组认为加州在制定未来立法时应采取的关键原则。卡内基国际和平基金会技术与国际事务项目访问学者、该报告的主要撰写人斯科特·辛格说，它“避开了”SB1047的一些更具争议的条款，比如要求使用“kill switch”或关闭机制来快速停止某些人工智能系统，以防潜在危害。

相反，该方法侧重于提高透明度，例如通过合法保护举报人和建立事件报告系统，以便立法者和公众可以更好地了解人工智能的进展。共同领导该报告的Cuéllar表示，目标是“收获创新的好处。让我们不要设置人为的障碍，但与此同时，随着我们的前进，让我们思考我们正在学习的关于该技术如何运作的信息。” 该报告强调，这种可见性不仅对于面向公众的人工智能应用程序至关重要，而且对于了解系统如何在人工智能公司内部进行测试和部署至关重要，因为令人担忧的行为可能首先在那里出现。

辛格说：“这里的根本方法是‘信任但验证’”，这个概念借用了冷战时期的军备控制条约，将涉及设计独立检查合规性的机制。这与现有的努力有所不同，后者依赖于公司的自愿合作，例如OpenAI与Center for AI Standards and Innovation（前身为美国人工智能安全研究所）之间达成的进行部署前测试的协议。辛格说，这种方法承认了“行业内部的大量专业知识”，但“也强调了独立验证安全声明方法的重要性。”

“`