置身AI内|给 AI 做“年检”:当智能体犯错,谁来赔?

AI 产品在演示中越惊艳，进入银行、医院和政府时反而越容易卡住：没人能保证它不会泄露数据、胡编答案或遭到攻击。Rune Kvist 创办的 AI Underwriting Company 想把这些不确定性变成可测试的标准，再让保险公司为剩余风险背书。这门生意试图回答一个越来越现实的问题：当 AI 真正替人做事，我们凭什么相信它？

一家 AI 公司向银行展示产品，通常不难。模型能写代码、回答问题或处理客户请求，效果像魔法一样直观。

麻烦出现在银行准备大规模部署时。

安全负责人会追问：它会不会编造答案？能否被人诱导绕过限制？客户数据会不会泄露？出错后由谁通知用户、承担损失？许多银行甚至不知道应该先问什么，更不知道如何验证供应商的回答。

这种矛盾会随着 AI 变强而加剧。能够独立完成任务的 AI 被称为“智能体”。它越自主，能创造的价值越大；但一旦偏离预期，影响也会更广。

Rune Kvist 判断，真正阻碍 AI 进入关键行业的因素，正在从能力不足变成信任不足。

Rune 对 AI 的兴趣始于 AlphaGo。后来，他读到 Kaplan 关于神经网络扩展规律的论文：只要持续增加计算、数据和资本投入，模型能力就可能稳定提升。

这让他意识到，AI 不只是一个技术热点。倘若这种规律成立，经济制度、政治决策和社会责任都将被重新审视。

2022 年初，他来到旧金山，接触到当时约有 40 人的 Anthropic 团队，并认识了 Dario Amodei。那支团队一面相信 AI 可能带来巨大价值，一面担心竞争迫使实验室牺牲安全原则。Rune 看到的核心冲突不是“技术能否实现”，而是“谁能约束它，又由谁取得社会信任”。

窗外经过的 Waymo 无人车给了他一个更具体的比喻。它们已经能表现得像优秀司机，却长期难以进入许多机场。在 Rune 看来，限制它们的未必是驾驶能力，而是责任、风险和信任。

如果一次事故会带来巨额赔偿，仅仅宣称“系统比人更安全”还不够。市场需要独立证据，也需要有人愿意为判断押上真金白银。

类似的问题并非第一次出现。

电力普及时，故障设备引发火灾，保险公司不得不承担损失。后来成立的 Underwriters Laboratories 对灯具、烤面包机等电器进行测试，建立安全标准。汽车普及后，碰撞测试和保险定价也形成了相互配合的体系。

标准告诉企业应该做到什么、如何证明；保险则把事故概率转化为价格，并承担部分剩余损失。保险公司为了少赔钱，会推动更安全的产品进入市场。

Rune 与长期从事保险和模型测试的 Rajiv 由此创办 AI Underwriting Company。公司的名字既指保险业的“承保”，也意味着为一项判断负责。

他们试图复制那套曾服务于电力和汽车的信任机制，只是这一次，接受测试的不是烤面包机，而是会说话、会调用工具、还能替人行动的软件。

AIUC 推出的 AIUC-1，是一套面向智能体安全、可靠性与风险管理的标准。它包含六大类问题、约 51 项要求和 130 个控制项。

这些要求大致分成三类：产品必须具备哪些技术防护；哪些能力需要第三方测试；事故发生后，谁负责响应、通知客户和处理后果。

例如，企业声称自己设置了防止模型“胡编”的过滤器，只能证明控制措施存在。过滤器是否真的有效，还需要另一层测试。

KPMG、Schellman 等审计机构可以检查代码、截图和流程证据；AIUC 则通过数千次模拟攻击，测试系统多容易被绕过、多久出现一次错误，以及是否会反复泄露数据。

整个认证通常需要三到十周。准备充分的企业可以较快完成，安全基础薄弱的产品则常常无法一次通过。

传统标准可能十年才更新一次，AIUC-1 每三个月更新。公司定期召集银行、医院和关键基础设施企业的风险负责人，把最新担忧转换成具体要求，再据此调整测试方法。

AIUC 出售的不是“绝对安全”，而是一套可重复检查、可以向客户解释的证据。

对于 Cursor、Harvey、Sierra、Lovable 和 ElevenLabs 这类 AI 公司，证书首先是一种进入大型机构的通行语言。

一家初创公司可以写文章宣称自己重视安全，但客户没有理由仅凭自述相信它。经过独立测试后，供应商可以明确告诉银行：哪些风险已经检查，采用了什么标准，哪些控制措施有效，仍有哪些风险需要承担。

认证还可以与保险结合。保险合同会写清覆盖哪些风险、赔偿上限和保费。ElevenLabs 就与 Lloyd’s of London 合作购买了相关保险。拥有数百年历史的 Lloyd’s 愿意承担部分风险，本身就是一种更有分量的信号。

这套组合解决了两件事：标准降低事故发生的概率，保险处理无法完全消除的损失。大型客户因此不必只相信供应商的一面之词。

AIUC 在约 20 人的规模下完成了由 Ribbit Capital 和 First Round Capital 领投的 4000 万美元融资。投资人押注的是：随着 AI 从试用工具变成企业基础设施，风险证明可能成为采购过程中的固定环节。

Rune 并不认为 AIUC 应该自己承担全部保险资本。

传统保险公司资金成本更低，也拥有住宅、汽车等不同类型的保单，可以分散风险。AIUC 更适合提供技术测试，保险公司则负责资本、定价和赔付。

双方还能形成反馈循环。保险公司掌握不同客户的事故和损失数据，知道哪些防护真正有效。这些信息反过来可以帮助 AIUC 改进标准。

过去的网络安全保险没有充分结合技术评估，结果并不理想。Rune 因此坚持：必须先用标准降低风险，保险才有可靠的定价基础。

这套模式仍有明显边界。AIUC 的认证是一次阶段性检查，不可能保证产品永不出错；AI 行为会因更新、数据和使用场景而变化，未知风险也无法提前穷举。公司尚未遇到保险索赔，许多责任问题最终仍要经过法院和市场逐步厘清。

为避免一家营利公司悄悄降低门槛，AIUC 公开标准的变更记录。每一次修改都可以被追溯。Rune 认为，透明度能降低信息差，也会增加操纵标准的成本。

智能体之后，AIUC 还希望把这套方法用于基础模型和机器人。

在模型层面，政府担心网络攻击、儿童安全和生物风险。实验室最了解自己的技术，却也身处激烈竞争之中，可能没有动力披露全部问题。政府需要监管，但人员、预算和立法速度很难追上模型更新。

Rune 设想的第三方机构更像 Moody’s 或财务审计公司：它不替政府决定某个模型能否发布，而是用统一方法给出可比较的风险证据，让决策者知道测了什么、发现了什么，以及哪些承诺不能成立。

机器人会让责任问题更加尖锐。软件答错一道题和机器人在厨房里摔落一个孩子，显然不是同一个等级的事故。AI 一旦进入物理世界，安全标准、保险和法律责任都会更加严格。

Rune 所说的“看门人”，并不是站在门口阻止技术前进。它要做的是让每一项承诺都能接受检验，让无法消除的风险被看见，并让愿意承担责任的人真正站到台前。

论文与研究

数据与实验资源