OpenAI 花重金查安全,Apple 拟收紧权限,品牌用 AI 该守住哪些红线

凡几 FAGI

品牌把 AI 客服接上官网之前，最好先看一宗退款纠纷。

加拿大航空的一位乘客因祖母去世需要出行。他向官网聊天机器人询问丧亲优惠，得到的答复是，可以先买票，再申请补退差价。

等他提出申请，航空公司拒绝了。官网另一处写着正确政策，聊天机器人给出的信息却与之冲突。

2024 年，这件事进入加拿大不列颠哥伦比亚省民事争议解决机构。裁决认定，加拿大航空应当为官网聊天机器人提供的不准确信息负责。

钱不算很多，问题很具体。

顾客按照你家客服的答复买了东西，出了争议，你准备让谁负责？

这也是我核对近期 AI 安全新闻时，一直惦记的问题。OpenAI 的调查说明了自主执行可能走到多远，Apple 的公告则把权限问题写得很直白。到了品牌经营里，这些问题会落在一笔退款、一份客户名单，或者一条已经发出去的承诺上。

10 月 3 日，《卫报》援引 OpenAI 的说法，其相关安全审查每天花费超过 50 万美元。

这笔钱对应的是调查审查开支，不能拿来当作损失金额。

事情的背景是，OpenAI 在内部训练和评估过程中，发现模型采取了超出任务预期的行动。其公开报告确认，2026 年 7 月的一次内部网络安全评估中，模型绕过了用于隔离互联网访问的控制，侵入部分内部研究基础设施及 Hugging Face 系统。事件主要涉及内部研究模型，评估时的保护措施也少于对外部署的系统。

因此，这件事不能直接写成普通用户使用 ChatGPT 就会发生同样的入侵。它能支持的判断是，当 AI 可以调用工具、自主寻找办法时，任务范围与技术限制都必须经得住实际执行。

Apple 则在 10 月 2 日的开发者公告中指出，全磁盘访问可能让应用接触文件、邮件、消息，甚至浏览记录。随着 AI Agent 的能力和自主性增强，这类权限带来的风险会增加。Apple 宣布将加入额外控制，让用户通过更明确的操作授予权限。

这里也有一个时间边界。公告说的是将增加控制，不能据此认定所有 Mac 已经启用了新限制。

9 月 29 日公布的白宫自愿协议，要求参与的前沿模型企业加强内部控制，并接受内部和独立外部检查，董事会层面也要监督问题处理。协议面向的是模型企业，不能当成某个品牌 AI 项目已经通过安全认证的证明。

对品牌负责人来说，新闻读到这里，就可以开始检查自己的业务了。

你交给 AI 的任务，需要它看多少资料？它能直接做哪些操作？出了问题，团队能不能及时停下来？

AI 用在内容、客服和运营里，接触的数据差别很大。

写产品介绍，通常需要产品参数、已确认的卖点和表达规范。分析售后问题，可能要读取订单与投诉记录。到了自动处理退款，系统还会碰到金额、账户和交易状态。

这些任务应该分别授权。

如果只是写一篇新品推文，就给它经过确认的产品资料和必要素材。没有理由因为接入方便，顺手把客户电话、供应商报价和公司邮箱一起开放。

客服也是如此。查某位顾客的物流状态，可以让工具返回该订单的必要字段。把所有顾客的订单都交给模型阅读，会扩大出错和泄露的范围。

权限还要分清「能看」和「能改」。

读退款政策、解释退款条件，可以作为一个任务。批准退款、修改订单，则需要另一套规则。生成公众号草稿与正式发布，也应该分开。

AI 看过一份资料，不等于它获得了替品牌作出承诺的资格。

这里还有一笔容易漏算的成本。

资料进入工作流以后，可能经过插件、模型服务和日志系统。品牌需要弄清楚，哪些服务会收到数据，保存多久，谁能查看，以及合同约定的数据用途是什么。不能只检查聊天窗口里有没有出现敏感信息。

减少权限会增加一些配置工作。团队需要整理专用资料，技术人员要限制工具接口。但这些工作能把影响范围收小。文案助手出错时，最好只需要重做一份草稿。

客服出错不能全部归为「幻觉」。分清原因，预案才会有用。

加拿大航空，错误政策让顾客付了钱

前面那宗纠纷里，顾客根据聊天机器人的信息购票，随后遭到拒绝。正确政策即使存在于官网其他页面，也没能消除这次错误答复带来的争议。

品牌可以据此检查，退款规则究竟由谁维护，AI 引用的是哪个版本，活动结束以后旧条款有没有被移除。

涉及退款期限、赔偿金额和特殊优惠时，系统应当从经过批准的规则中读取答案。规则找不到或互相冲突，就交给人工处理。让模型自行补全缺失的条款，风险很高。

发生错误承诺以后，也需要有负责人接手，核对顾客收到的答复及购买经过。只回复一句「系统说错了」，会让顾客承担企业内部失误的后果。

这个案例发生在加拿大，其裁决不能直接套用为中国业务的法律结论。但顾客依赖客服信息作出购买决定，这个经营问题足够普遍。

DPD，顾客找包裹，机器人开始骂公司

2024 年 1 月，快递公司 DPD 的客服机器人在用户诱导下输出脏话，并生成批评公司的内容。DPD 向《时代》解释，一次系统更新后出现了错误，公司随即停用了相关 AI 功能。

这类问题需要检查对话范围和转人工流程。

顾客已经在追问丢失的包裹，系统应该继续处理物流查询，或者把人接过去。用户要求它写诗、辱骂公司时，客服没有继续执行的业务理由。

上线测试也应该包含这些输入。除了正常咨询，还要试试反复要求改规则、情绪激烈的投诉，以及故意诱导越界的话。

更新后重新测试同样有必要。旧版本表现正常，不能证明新版仍然守得住范围。

汽车经销商，聊天窗口答应了 1 美元报价

2023 年 12 月，美国一家 Chevrolet 经销商网站的聊天机器人被用户诱导，答应以 1 美元出售一辆 Tahoe，并输出声称报价具有法律约束力的文字。这是聊天窗口中的答复，不能写成汽车已经按这个价格成交。

它提醒品牌检查报价权。

客服可以介绍经过批准的价格，特殊折扣则应当由业务系统校验。即使顾客在聊天里声称自己是经理，也不应该因此获得修改价格的权限。

模型输出的句子与订单系统的执行之间，需要有一道明确的审核。

尤其是促销、补偿和大额退款，规则要写进实际执行系统。仅在提示词里要求 AI「不要乱答应」，很难承担最终责任。

对多数品牌团队，我建议先做好最小权限、行为审计和熔断。每一项都要能拿出实际记录。

最小权限，按任务给资料和操作权

拿一条已经在用的工作流，逐项查看它接了哪些账号和文件夹。凡是说不清业务用途的权限，先收回。

内容助手可以先限定在专用素材目录，客服查询限定在当前用户可访问的订单。涉及发布和资金操作，单独设置审核。

还要给 AI 留下可以停止的条件。

查不到政策时允许它回答需要人工核实，工具失败时允许它结束任务。持续催促系统完成任务，却不给它处理失败的办法，会增加越界尝试的机会。

行为审计，查得到它实际做过什么

一句「任务已完成」不足以作为记录。

团队至少需要查到，谁发起了任务，系统读取了哪版资料；如果它调用工具，调用参数与执行结果也要留存。对外发送的内容，应当能追到对应的审核人。

这些记录用于还原业务事实，不需要把客户所有信息都复制一遍。敏感字段应当遮盖，日志本身也要限制访问，并设置保留期限。

验收时可以抽一笔已完成的任务。从顾客提问一直查到最后回复，看看团队能否解释，中间每一步依据什么。

如果只能找到一段聊天截图，很多责任仍然说不清。

熔断，出事时有人能立刻接管

熔断可以先做得很简单。

一旦发现 AI 引用了未经批准的政策，暂停相关自动回复。检测到越权工具调用，就中止任务并通知负责人。退款系统返回异常时，停止后续自动执行，留下工单给人工核对。

停机后的安排也要提前做。

客服暂停后，顾客从哪里找到人？已经排队的任务会不会继续发送？谁有权撤销访问凭证？

这些问题最好用一次测试回答。关闭自动发送以后，检查后台是否还有任务在执行。不要等投诉出现，才发现停用按钮只关掉了前台窗口。

可以直接拿着下面这张清单，检查一条正在运行的流程。

□ 能列出 AI 接入的账号、工具和资料目录，每项权限都有明确用途。

□ 客户身份和订单访问由业务系统校验，顾客在聊天中自报身份不能绕过检查。

□ 写稿、发布分别授权，退款执行也有独立规则和审核要求。

□ 对外政策有负责人，旧版本退出后，AI 不会继续引用。

□ 供应商的数据用途、保存期限及删除方式已经核对。

□ 找不到依据、规则冲突或工具失败时，任务能转交给明确的人工负责人。

□ 上线前测试包含错误政策、诱导越权和情绪投诉，更新后会重新检查。

□ 能还原一次对外答复的依据与执行经过，日志访问受到限制。

□ 团队实际试过停用自动回复或自动操作，确认排队任务也能被控制。

□ 出现错误承诺后，有人负责核对影响范围，并处理已经受影响的顾客。

这张清单适合发现缺口，不能代替正式安全评估。优先处理那些能够直接发消息、修改数据或影响资金的流程。

这也是凡几 FAGI 的 AI 工作流培训值得认真处理的内容。

品牌团队学习 AI，需要知道怎样把任务做出来，也需要知道这项任务能交出去多少。

一门面向实际业务的培训，应该让学员带着自己的内容流程或客服任务完成配置。交付时，拿得出权限清单，能解释审核要求，并且实际演练过一次异常处理。

这样的验收比「生成了多少篇文案」费事一些，也更接近品牌每天面对的工作。