ARTICLE · 1050635
查尔斯三世警告AI“生存性风险”:黄仁勋等AI巨头齐聚苏格兰,讨论一个越来越紧迫的问题
查尔斯三世警告AI“生存性风险”:黄仁勋等AI巨头齐聚苏格兰,讨论一个越来越紧迫的问题
点击上方 蓝字 关注我们 当人工智能的发展速度越来越快，一个问题正在变得越来越现实：人类还能否始终掌控自己创造的技术？ 9月17日，英国国王查尔斯三世在苏格兰邓弗里斯庄园（Dumfries House）主持了一场人工智能领域的高级别会议，邀请来自全球主要AI企业、英国政府以及社会领域的代表，共同讨论人工智能未来的发展、安全以及如何让这项技术更好地服务社会。 参会者包括英伟达CEO黄仁勋、Google DeepMind相关负责人、OpenAI和Anthropic代表，以及英国人工智能大臣卡尼什卡·纳拉扬（Kanishka Narayan）等。 这场会议受到关注，并不仅仅因为英国国王亲自出席。 更重要的是，在人工智能能力快速提升、AI安全争议持续升温的背景下，查尔斯三世直接向行业提出了一个非常尖锐的问题：人类是否需要在AI进一步发展之前，建立足够有效的控制机制？ 
01 查尔斯三世：AI的发展令人惊叹，也令人担忧 英国王室公布的会议资料显示，这场活动由英国王室方面组织，并由Ditchley Foundation协助推动。会议邀请了人工智能行业、政府以及社会领域人士，就AI未来的发展和应用展开讨论。 英国王室称，会议重点是探索如何利用人工智能改善社会、加强社区发展，并让AI真正服务于人类和生态环境。 但在会议开场讲话中，查尔斯三世明显将关注点放在了AI安全问题上。 他说，人工智能的发展速度和技术能力“既令人惊叹，也同样令人深感担忧”。 他特别指出，随着AI能力不断增强，技术创造者自己也越来越多地开始警告，AI可能发展出更加危险的能力，甚至可能被用于夺取生命。 因此，他认为，现在已经迫切需要认真考虑一种更极端的风险： 如果这些技术落入错误的人手中，并被用于实施潜在的灾难性行为，人类应该怎么办？ 
查尔斯三世在讲话中进一步提出，人类是否应该在“为时已晚”之前建立足够的控制手段。 这也是这次会议最值得关注的地方。 他并没有点名某一家企业，也没有针对某一个国家提出批评，而是把问题直接抛给了整个AI行业。 他希望AI行业回答两个问题： 英国王室公布的完整讲话中，查尔斯三世还强调，未来真正重要的不只是推动技术发展，而是确保人工智能始终服务于“人类、社区和自然世界”。 这实际上延续了查尔斯三世长期强调的“和谐”理念，即技术创新不能脱离人类社会以及自然环境所构成的整体系统。 
02 为什么这场会议恰恰发生在现在？ 如果单独来看查尔斯三世的讲话，它似乎只是一次关于AI伦理的讨论。 但放在最近几个月人工智能行业的发展背景下，就会发现，这场会议的时间点非常敏感。 就在9月16日，也就是查尔斯三世主持会议的前一天，OpenAI公布了一套新的“模型失配”（Model Misalignment）事件报告框架，并披露了过去6个月发现的6起“意外或值得关注”的模型行为案例。 OpenAI表示，这些案例涉及模型在特定情况下出现未经授权的行为、规避监督、与其他模型进行异常协作等问题。 需要特别注意的是，OpenAI并没有表示这6起事件意味着AI已经失控。 公司公布这些案例的目的之一，是建立更加系统的机制，对模型可能出现的异常行为进行追踪、调查和披露。 但这至少说明一个事实： 随着AI系统变得越来越复杂，传统的“开发—测试—上线”模式正在面临新的安全挑战。 
OpenAI也明确表示，随着AI系统能力继续增强，行业仍然没有完全解决与模型行为对齐相关的一些关键问题。 这也是为什么，AI安全已经不再只是一个学术讨论，而越来越成为企业、政府和社会都必须面对的问题。 
03 AI行业内部，也出现了“要不要放慢速度”的争论 与此同时，AI行业内部对于发展速度的讨论也在升温。 Anthropic近年来一直是AI安全讨论中比较活跃的企业之一。公司CEO达里奥·阿莫迪（Dario Amodei）此前就提出过，需要更加关注前沿AI发展的速度以及由此产生的风险。 Anthropic近期公布的一项研究也试图让外界更清楚地了解前沿AI实验室的发展速度。 该公司表示，目前AI系统正在变得越来越强大，而且越来越多地参与下一代AI系统的研发过程，因此有必要让公众更加清楚地了解AI研发究竟以多快的速度推进。 Anthropic提出的观察指标包括：AI在多大程度上参与下一代AI研发、AI智能体的行为能够受到怎样的监督，以及研发过程中使用了多少计算资源等。 这反映出行业内部存在一个越来越明显的矛盾： 一方面，AI企业需要尽快推进技术，以获得更强大的模型和更大的市场优势；另一方面，技术能力提升越快，安全测试和监管所面临的压力也越大。 因此，真正的问题已经不仅仅是“AI要不要发展”。 而是： AI应该发展多快？ 
以及： 当AI发展速度超过人类理解、测试和监管能力时，应该怎么办？ 
04 黄仁勋的态度：可以继续发展，但不能把不成熟的产品推出去 在查尔斯三世提出警告之后，黄仁勋也在会议期间谈到了AI安全问题。 他的观点与“完全放慢AI发展速度”的思路并不完全相同。 黄仁勋认为，AI企业有责任自己确保技术安全，并在产品正式推出之前进行充分测试。 他的核心观点可以概括为： AI可以继续快速发展，但产品如果还没有准备好，就应该暂缓推出。 
也就是说，他并不认为解决AI安全问题意味着整个行业必须停止技术进步。 相反，更现实的方式是让企业在研发和商业化过程中建立足够严格的安全测试机制。 黄仁勋表示，如果产品的安全性还不过关，就应该暂缓发布、继续改进；但如果已经完成必要测试，则没有理由因为对AI风险的担忧而停止整个技术的发展。 这实际上代表了AI行业中另一种重要观点： 不是“停止发展”，而是“发展到什么程度，就必须匹配什么程度的安全能力”。 
相关报道显示，黄仁勋在这次会议期间还继续表达了对AI基础设施需求的乐观判断。他预计英伟达明年的芯片销售量可能达到今年的两倍左右。 这也形成了一个非常有意思的对照： 两者并不完全矛盾。 它们实际上共同指向了一个问题： 如何让AI的发展速度与人类的安全保障能力保持同步。 
05 英国为什么希望在AI安全问题上发挥作用？ 这场会议还有一个值得注意的背景。 英国并不是目前AI产业规模最大的国家，但近年来一直试图在人工智能安全和治理领域建立自己的影响力。 2023年，英国曾在布莱奇利庄园（Bletchley Park）举办首届AI安全峰会，并推动不同国家和企业讨论前沿人工智能可能带来的风险。 查尔斯三世这次讲话也明确提到了2023年英国AI安全峰会。 英国目前设有AI Security Institute，即英国AI安全研究机构，并持续开展与前沿AI模型安全、能力评估等相关的研究。 与此同时，英国政府也在继续加强AI政策体系。 英国政府官网显示，卡尼什卡·纳拉扬于2026年7月20日被任命为人工智能大臣，负责AI政策、AI安全研究、AI基础设施、机器人、半导体以及AI在经济和公共部门中的应用等事务。 因此，这次邓弗里斯庄园会议并不只是一次王室活动。 从英国政府的角度来看，它也是英国继续参与全球AI治理讨论的一部分。 
06 AI真正的问题，可能已经从“能不能做到”变成“应该做到什么程度” 人工智能的发展正在进入一个新的阶段。 过去，人们更多讨论的是： 但随着AI模型逐渐具备更加复杂的推理、执行和协作能力，问题正在发生变化。 现在越来越多人开始讨论： 以及最根本的问题： 人类是否能够始终保持对高度自主AI系统的有效控制？ 
这也是为什么查尔斯三世在这次会议上强调，AI治理不能只依靠单个企业或者单个国家。 他提出的第二个问题，就是如何建立国际合作和共识。 因为AI技术本身没有国界。 一家美国公司研发的模型，可以被世界各地的人使用；一个国家制定的安全标准，也可能影响全球AI产业链。 因此，如果未来AI安全真的成为全球性问题，那么监管、测试、风险评估以及国际合作也很难完全停留在单个国家层面。 
07 从邓弗里斯庄园传出的信号 从英国王室公布的信息来看，这次会议并没有产生一项具有法律约束力的全球AI监管协议。 它更像是一场高级别的对话。 但它传递出的信号非常明确： AI的发展已经快到不能只讨论“技术还能做到什么”，还必须同时讨论“人类是否能够安全地使用这些能力”。 
查尔斯三世的讲话并没有要求AI行业停止发展。 相反，他承认人工智能在生命科学、医学等领域已经展现出改善甚至挽救生命的巨大潜力。 但与此同时，他认为技术能力越强，对安全机制和人类控制能力的要求也应该越高。 而黄仁勋的回应，则体现了AI产业界更加务实的一面： 继续发展，但不要把没有准备好的技术交给公众。 
这或许正是未来几年AI行业最重要的矛盾之一—— 技术发展的速度，与人类建立安全边界的速度，究竟谁应该更快？ 这场在苏格兰邓弗里斯庄园举行的会议，并没有给出最终答案。 但随着AI越来越深入教育、就业、医疗、科研以及日常生活，这个问题显然已经离普通人越来越近。 资料来源： 本文主要依据英国王室于2026年9月17日发布的邓弗里斯庄园AI会议介绍及查尔斯三世在会议上的完整讲话整理；英国政府官网用于核实英国人工智能大臣卡尼什卡·纳拉扬的职务信息；OpenAI官方资料用于核实近期公布的模型异常行为报告框架及相关案例。相关新闻背景参考Reuters、AP等媒体报道。 
如何在把安全放在核心位置的情况下，利用人工智能带来的巨大收益？ 如何建立国际合作和共识，让各国共同参与，而不是让AI的发展脱离人类的控制？
一边是查尔斯三世提醒AI行业——不要等到失去控制之后才开始考虑安全问题 另一边是黄仁勋强调——AI的发展不会停止，但企业必须确保技术经过充分测试
AI能不能写文章？ 能不能生成图片？ 能不能编程？ 能不能替代某些工作？
如果AI能够自主完成越来越复杂的任务，人类应该如何监督？ 如果AI的能力提升速度超过安全测试速度怎么办？ 如果不同国家采用完全不同的AI监管标准怎么办？
往期推荐