ARTICLE · 1095124
AI越强大,治理越不能缺席——从比尔·盖茨访谈谈技术伦理与学科转向
AI越强大,治理越不能缺席——从比尔·盖茨访谈谈技术伦理与学科转向9月25日，比尔·盖茨在接受采访时谈到人工智能可能带来的极端风险。他提出，当前AI能力已经足够强大，如果被恶意行为者利用，可能参与造成十亿级人员死亡的事件。这里的“十亿人”并不是对未来结果的预测，更接近一种风险边界的判断。盖茨真正关心的是，人工智能正在快速降低复杂技术的使用门槛，使过去只有大型组织、专业机构甚至国家力量才能掌握的部分能力，逐步向更广泛的个人和组织开放。 近年来关于人工智能的讨论，大量集中于模型性能、产业应用、生产效率和商业价值，人们习惯于追问AI还能做什么、还能提高多少效率、还能替代多少工作。随着模型能力不断增强，另一个问题已经逐渐进入现实研究议程，即当AI能够持续放大人的认知、分析、设计和执行能力之后，这些能力由谁使用、用于什么目的、通过何种制度进行约束，以及一旦被滥用应当由谁承担责任。AI治理由此开始从技术安全问题进入社会治理问题，也使Ethics逐渐成为人工智能研究中无法回避的基本维度。 过去谈到人工智能风险，人们很容易联想到机器产生自主意识、超级智能失去控制以及人类最终无法约束机器等科幻式场景。这类长期风险依然存在，但盖茨此次强调的重点更加现实，即真正具有紧迫性的风险，很大程度上来自人的恶意与AI能力之间的结合。AI可以成为科研工具，也可以成为攻击工具；可以帮助医生分析疾病，也可以帮助攻击者识别系统漏洞；可以提高城市运行效率，也可能帮助恶意主体寻找交通、电力、通信等基础设施中的薄弱环节。这种变化首先体现为专业门槛的下降。网络攻击过去需要长期技术训练，复杂诈骗需要较强的信息搜集和组织能力，某些生物技术研究需要系统的专业知识，而生成式AI能够在一定程度上承担资料检索、代码生成、知识解释、方案设计和信息整合等工作。恶意行为主体未必因此突然具备完整的专业能力，却可以显著缩短学习时间，提高试错效率，并扩大行动规模。当这种能力进入网络安全、生物安全、金融系统、能源系统和公共基础设施后，风险的性质也随之发生变化。 因此，“AI大规模杀人”不能简单理解为机器直接攻击人类。更现实的路径往往具有间接性和系统性。医院信息系统遭受攻击可能影响急救和诊疗，电网瘫痪可能进一步影响供水、通信和交通，金融支付系统异常可能干扰企业生产和居民生活，恶意信息传播可能在特定条件下加剧社会恐慌和群体冲突。生物技术领域的风险更加复杂，因为AI既可以用于药物发现、蛋白质分析和疾病防控，也可能降低某些危险知识的获取和应用难度。 AI带来的重要变化，是人类破坏能力的技术放大。过去实施高复杂度攻击往往受到知识、资本、组织和时间的共同限制，而AI正在削弱其中部分约束条件。真正需要关注的因此并非机器突然产生恶意，而是人类原有的利益冲突、犯罪动机、极端行为和权力竞争，在获得更强技术工具之后可能产生怎样的后果。 传统技术伦理研究已经形成较为成熟的议题体系，包括隐私保护、数据安全、算法歧视、知情同意、数字鸿沟和算法公平等内容。这些问题仍然重要，但生成式AI的发展正在推动伦理研究继续向前延伸。未来需要讨论的不仅是算法是否公平、数据是否合规，还包括某一种能力是否应该向所有人开放，什么程度的技术能力需要设置使用门槛，高风险操作是否必须经过身份认证和人工审核。 这一变化可以概括为从结果伦理逐渐进入能力伦理。过去研究往往在技术应用之后评估其影响，例如算法是否造成差别待遇、平台是否侵犯用户隐私、自动化决策是否损害特定群体利益。高能力AI出现之后，治理环节需要进一步前移，在模型能力形成和释放阶段就评估潜在风险。一个模型如果已经具备较强的漏洞发现、代码生成、生物信息分析或者自动化决策能力，那么开放范围、调用权限、使用频次、日志记录和异常监测就不再只是企业内部的产品设计问题，而会直接影响公共安全。 这也解释了为什么单纯依靠企业自律越来越难以满足AI治理需要。企业天然追求技术迭代、市场扩张和商业回报，而部分AI风险具有明显的外部性，收益可能由企业获得，损害却可能由社会承担。对于普通软件产品，系统缺陷往往影响有限用户；当AI进入医疗、金融、能源、交通和政府系统之后，一次失误或者一次恶意利用可能通过高度连接的社会网络迅速扩散。盖茨因此提出，AI安全不能完全交给企业自行决定，执法机构、政府和公共政策体系需要参与其中，并通过具有约束力的制度建立安全边界。未来AI治理很可能形成类似食品安全、药品安全、航空安全和金融监管的制度逻辑，即企业仍然负责创新，但高风险领域需要接受外部审查、认证、审计和责任追溯。技术能力越强，社会对其可解释性、可控制性和可追责性的要求也会越高。 AI治理如果停留在伦理原则层面，很难真正回应现实风险。所谓负责任AI、安全AI或者可信AI，最终都需要转换为可以执行的制度安排。模型开发阶段需要进行高风险能力测试，平台运行阶段需要建立异常行为识别机制，高风险应用需要设置权限管理和人工确认程序，企业内部需要明确AI部署和使用责任，公共部门则需要建立认证、审计、报告和事故追责制度。 在组织层面，很多问题目前仍然没有稳定答案。例如，企业员工利用AI作出错误决策造成损失，责任应当如何划分；医疗机构采用AI辅助诊断后发生误判，模型开发者、医院和医生分别承担什么责任；交通系统引入AI调度之后发生系统性故障，应当由算法供应商还是运营主体负责；企业为了提高效率大量引入生成式AI之后，如何防止内部数据泄露和恶意指令进入关键业务系统。这些问题已经超出计算机科学本身，需要管理学、法学、伦理学、公共管理和工程学共同参与。在制度层面，还需要处理创新与约束之间的关系。过度宽松可能放大风险，过度严格又可能抬高创新成本，因此治理的关键并非简单限制技术，而是依据风险等级建立差异化规则。普通文本生成工具与能够进入医疗诊断、电力调度、金融交易和军事系统的AI显然不能适用完全相同的监管要求。未来更加可行的方向，是按照技术能力、使用场景、潜在损害和系统重要性进行分级管理。 AI伦理不能长期作为技术研究之后附加的一节讨论。Ethics需要进入研究设计本身，进入模型训练、产品开发、组织应用和政策制定全过程。当技术开始深度嵌入社会运行体系时，伦理已经不再只是价值判断，也成为风险识别和制度设计的重要基础。 这一变化同样会影响不同学科未来的研究方向。当前大量AI论文仍然围绕预测精度、运行效率、成本降低、用户接受和绩效改善展开，这种研究路径具有现实价值，但随着AI逐渐进入真实社会系统，仅研究performance已经难以完整解释技术影响。未来各学科研究AI，都可能需要在原有技术和管理框架之外增加risk、ethics和governance三个维度。 以交通研究为例，目前大量研究关注自动驾驶、交通预测、智能调度和路径优化，未来还需要讨论算法受到恶意攻击后的系统后果、自动驾驶在极端场景中的责任分配、AI交通系统的权限控制以及关键交通基础设施的数字韧性。医疗领域除了继续提高诊断准确率，也需要研究误诊责任、训练数据偏差、患者知情权和高风险模型的准入制度。教育领域除了关注智能辅导和教学效率，还需要研究学生依赖、评价公平、知识真实性以及AI参与教育决策的边界。传统供应链韧性研究主要讨论自然灾害、战争、疫情、市场波动和供应中断，随着供应链运行越来越依赖数字系统，AI辅助攻击可能成为新的扰动来源。仓储管理系统、运输调度系统、港口信息系统、支付系统和企业资源计划系统高度连接，其中任何关键节点受到攻击，都可能沿供应链向上下游传播。未来可以进一步研究AI-enabled disruption、数字基础设施韧性、算法操纵风险以及多系统联动下的级联失效。 管理学领域同样存在大量新的研究空间。企业为什么采用AI治理制度，治理强度如何影响创新绩效，员工在何种条件下会绕过AI安全规则，高风险行业如何形成不同的治理结构，企业AI伦理委员会能否真正约束业务决策，政府监管与企业自律之间如何形成有效分工，这些问题都具有明确的理论价值和现实意义。从研究框架看，未来AI研究可能逐渐形成一条更加完整的逻辑链条，即Technology、Behavior、Risk、Ethics与Governance。技术研究回答AI能够做什么，行为研究分析人为什么以及如何使用AI，风险研究考察技术进入社会系统后可能产生哪些外部性，伦理研究讨论能力使用的合理边界，治理研究进一步设计制度、组织和技术层面的约束机制。相比单纯讨论人工智能能否提高效率，这样的研究框架更接近AI真正进入社会之后所面临的问题。 人工智能正在成为一种通用能力基础设施，它既能够扩大科研、生产和公共服务能力，也能够放大人的错误、恶意和组织性破坏行为。技术进步由此带来的已经不仅是效率问题，还包括能力如何分配、权力如何约束以及责任如何承担。工业革命扩大了人的体力，计算机扩展了人的计算能力，互联网扩展了信息传播能力，人工智能则开始同时进入认知、判断、设计和决策过程。当这种能力不断增强，人类社会需要建立与之相匹配的治理体系。未来关于AI的研究，也需要逐渐从“AI还能做什么”走向“人类应该如何使用AI，以及如何防止AI被用于伤害人类”。 因此，比“AI会不会消灭人类”更值得现实社会追问的问题，或许是另一件事。 当人类第一次获得如此强大的通用技术工具之后，我们有没有能力约束自己如何使用它。