ARTICLE · 1173448
AI开始自己点按钮之后,制造业研发更该问它一句,做完这步,证据在哪
AI开始自己点按钮之后,制造业研发更该问它一句,做完这步,证据在哪
10月9日，Anthropic公开了一份报告《调查评测与内部使用中的非预期模型行为》原文链接我放在文末，我觉得值得制造业研发团队抽时间读一遍。 报告里说，他们在内部评测中发现，Claude智能体做任务时有过一些没被要求的操作。利用软件漏洞运行命令，绕过限制去拿数据，还有一次，模拟环境里的表单出了问题，它转去真实网站把表单提交了。 Anthropic自己也说了，已发现的案例现实影响有限，没有碰到客户数据，也没有碰到他们自己的内部系统。事情没有酿成事故。 他们随后的动作值得多看一眼，所有内部评测的实时互联网访问被暂时切断，等确认监控和安全措施能抓住类似行为，再考虑恢复。 先把边界说清楚。这份报告讲的是评测环境里的非预期操作，没有哪家工厂把AI接进产线以后出了事，它也不能证明所有智能体都不可靠。它是一次提前到来的提醒。别只测AI能不能把任务做完，还要看它是怎么做完的。 这件事离工厂研发并不远。 制造业团队聊AI，先想到的通常是机器人、机器视觉、智能排产。 还有一类AI已经走进工程师每天用的研发系统，读规格书、筛器件、做物料选型、整理BOM，以后还会接上计算和验证。它没有机械臂那么显眼，碰到的东西却更隐蔽，工程师的判断、企业的知识积累、一份方案最后能不能过评审。 以前用AI，是它答你问。答错了，错还停在对话框里，要造成后果，得先经过你的手，被你抄进文件、录进系统。这中间一直站着一个人。 智能体不一样。它接到任务以后会自己往下点，找资料，调系统，改文件，把一个动作的结果交给下一个动作，它的错可以不经过任何人，直接落进系统。任务越长，光盯着最后交出来的那个结果就越不够。 Anthropic报告里让人停下来的地方正在这里。模型找到了一条人没想到的路，人并没有实时看见这条路。很多问题，是回头翻操作记录的时候才发现的。 一个AI说自己没有越界，这句话本身不能当证据。它解释自己为什么这么做，那段解释也未必是行动的完整原因。最后能拿出来复核的，只有当时实际发生的事，它碰了什么数据，调用了什么工具，改了哪一步。 拆开来，这份报告说的是两件事。一件是模型会做出人没安排的动作，另一件是它做的时候没人实时看见。第一件新鲜，发生的场合还少。第二件在工厂研发里几乎天天都有，一份资料从哪来，一个参数谁核过，平时没人盯。制造业该往心里去的，主要是第二件。 这个问题，制造业研发早就熟悉了，只是以前问的是人。 评审会上，工程师经常被追问，选这颗料的依据在哪份规格书，哪个版本，第几页。能过关的回答是当场把原文翻出来，参数对得上，判断过程讲得清。 一份能进生产的方案，光看起来像个答案是不够的。工程师要对它负责，质量部门要复核，采购和制造接着往下做，客户审核时还会把这条链重新问一遍。 AI给了结果却说不清依据，或者每次问理由都能换一套说法，工程师的工作就从自己找资料，变成天天检查AI有没有编。这不叫省事。 所以评估一个研发AI，答得快不快、一次能生成多少文件，都不该排在最前面。我更建议先问几句话。 01它知道自己能做什么、不能做什么吗 02哪些动作必须先停下来，等人同意了再走 03做完以后，留下的依据别人能不能看得懂、查得到、能复核 这几句话听着不炫，比一句「模型能力又提升了」更接近工程现场。 拿物料选型来说。模型可以从大量规格书里找候选器件，比较电气参数，生成BOM。工程师关心的远不止清单有没有生成。他要知道这个参数出自哪一版规格书，在第几页哪个表格，替代料为什么能用，哪些约束条件还没核实。 同一个参数，数字相同，工程含义未必相同。它可能来自不同版本的资料，测试温度、封装、工作区间都不一样。只把几行数字抄进表格，看上去整整齐齐，真拿到评审会上，工程师还得把那些适用条件重新判断一遍。 AI把检索和整理做快了，最费判断的部分又原样退回给人，这种快没有省到点子上。 给AI设权限，听起来像在踩刹车。我们的看法是，这恰恰是让自动化能被放心放进流程的前提。 研发流程里，动作有轻有重。帮忙找一份规格书，和直接覆盖一份已经评审通过的BOM，不会是一个级别的事。前者可以自动一些，后者必须谨慎。 系统要知道哪些事能自己做完，哪些事只能生成待确认的建议，哪些事在依据不足时根本不该继续。材料不全、条件冲突、证据找不到的时候，把问题交还给人，好过硬凑一个答案交差。 工程师这边也有要求。批准之前，他要看得见关键依据，能比较AI给出的选项，也能拒绝或者退回。只给一个「是否同意」的按钮，就是在给黑箱盖章，出了事再把他请回流程里，已经晚了。 道理说到这，落地怎么做 我拆成四步，顺序大致照着刚才那三句话走。前两步挑场景、盘数据，解决找资料的问题。第三步验收，解决留依据、查得到的问题。最后一步是人和AI的分工，对应第二句话，让该停的动作停得下来。 会议室里的场面很多人都见过。模型能看图、能读文档、能写代码，演示十分钟，大家都觉得厉害。散会回到现场，真正的问题才冒出来。资料在哪，权限怎么开，结果谁签字，错了怎么回退。 模型演示只要十分钟，生产流程要跑很多年。 如果你正在评估制造业AI项目，第一步别从「我们要不要上大模型」开始。先挑一条具体流程，拿白板把它画出来。不用画成咨询公司那种大图，六七个框就够。从需求单开始，工程师查资料，筛选候选，核对参数，形成建议，主管审批，写入系统。每个框旁边补三件事，这一步用什么输入，交出什么输出，出了错谁能发现。 画完你会看到，有些步骤确实适合AI，有些只是资料不齐。剩下的慢，可能是系统接口要改，也可能是审批规则从来没人讲清楚。 别把所有的慢都记在模型头上。场景选错了，后面越努力，越像在给一条错误流程加速。 哪些环节值得先看。一类是重复查找和整理，资料量大、来源分散，判断规则相对明确。一类是跨系统的搬运和校验，重复录入多，版本容易对不上。还有一类是专家经常被问、答案本来就藏在历史文档和内部规则里的问题。 反过来，一项任务如果连资深工程师之间的判断都不统一，输入经常缺关键条件，先别急着让模型自动决定。把规则和例外梳理出来，这一步可能比调模型值钱。 场景定了，第二步盘数据 很多团队说，我们文档多，应该能做知识库。文件躺在服务器上，和AI能正确使用里面的信息，中间差着好几步。 同一份规格书有不同版本，扫描件里的表格未必识别得出来，参数旁边的脚注可能决定适用条件，文件名可能毫无规律。企业制度、工程师经验、供应商资料，对同一个问题甚至能给三个答案。把这些文件一股脑塞进向量库，不会自动长出可靠的知识。 先抽样，别求全。找出这个场景最常用、最容易出错的一小批资料，确认它们有版本号、来源、适用范围和失效状态，再检查AI能不能定位到真正支撑结论的那一段。原始文档都检索不稳，就先做格式治理和元数据补全，别指望模型替数据质量兜底。 这里顺带说一个常见误会。不少人以为加了检索增强生成，模型就不容易胡说。 检索能帮模型找到材料，不能保证材料本身是对的，也不能保证模型读懂了表格、单位和适用条件。检索负责把证据递上来，正确性要靠别的东西保证。 单位换算、阈值比较、公式计算、规则校验，能用代码和既有工程工具做的，就交给确定性逻辑去做。模型负责理解需求、归纳资料、解释差异，验证过的程序负责算数和硬约束，规则之外、依据不足、风险较高的情况，留给工程师。各管各的一段，系统反而简单。 第三步，试点之前先写好怎么验收 最常见的验收，是挑几条顺眼的案例现场演示，大家说不错，项目就算通过了。演示能证明模型做得到，证明不了系统平时也做得到。 把真实工作里的案例整理成固定测试集，常见任务要有，难例和反例更要有。资料版本冲突怎么办，关键参数缺失怎么办，需求写得含糊怎么办，候选器件全不满足条件怎么办。测试集要让真正干这项工作的工程师参与整理，把过去返工过、评审被打回过、靠专家救回来的任务都收进去。 指标也要拆开看，别只看「回答准确率」这种大词。 检索环节看关键资料找没找全，抽取环节看型号、参数、单位、条件认没认对，任务环节看一次完成率、人工修改量和退回原因，风险环节看有没有越权操作、有没有没出处的关键结论、材料不足时它能不能正确停下来。 每个指标的分母都要说清楚。准确率95%，是95%的问题答对了，还是95%的必需字段抽对了，还是抽了20条有19条没毛病。定义不同，数字之间没法比。 还有时间。时间要算整条流程，别只算模型生成那几秒。资料预处理、人工复核、系统录入、返工、审批等待，全在交付周期里。模型十秒出结果，工程师花半小时查来源，这个环节就是半小时。 第四步，把人和AI的分工设计清楚 「人在回路」四个字本身管不住风险。人要看得见AI依据了什么、准备做什么、哪些条件还没满足。只读查询、低风险整理，可以让系统自动完成。会改动设计文件、提交正式结果、影响生产和质量判定的动作，必须有明确的确认步骤。 权限从最小范围开始，先让系统读指定资料、生成建议，写入权限别一上来就放给它。每次加能力，都对应一次风险评估和一组新测试。 智能体也可以做。能连续调工具，和能独立负责一项工作，中间隔着不少东西。流程越长，中间状态越多，权限、失败重试、重复提交、人工接管就越要管细。 每一步都要说清，成功留下什么，失败留下什么，什么情况能重试，什么情况必须停。写入操作考虑幂等，免得网络重试一次，系统里多出一条重复记录。覆盖操作保留原版本，出错才有路可退。它卡在第三步的时候，不能让前两步已经写进正式系统的内容悬在那里没人知道。 还有一件试点阶段就该想明白的事，模型之外的工作归谁。系统接口谁维护，知识更新谁负责，规则变更谁审批，线上结果异常谁处理。这些岗位没人认领，演示效果再好也跑不长。 我们自己最推荐的试点方式，是把一个窄场景做完整。限定一个产品族、一类任务、一组资料、一套审批规则，让系统在影子模式下先跑一阵，只给建议，不动正式系统。 工程师照原方式干活，同时标注AI的结果哪些能用、哪里错了、为什么要改。反馈攒成下一轮测试，再逐步放开低风险操作。 短期内要多做一份人工，看着不省事。它换来的是资料、规则和模型的真实问题提前暴露。这笔成本可以选在试点里花，也可以选在正式流程里拿返工去付。 我们的实践 · 小潭子 这也是我们做小潭子时，把物料选型作为切入点的原因。选型听起来是搜搜参数，真落到企业里，资料可能有十万份，格式不止一种，版本还会变。造物潭对外材料里提到的客户场景，就涉及10万多份规格书和200多种文档格式。在这种资料里找出可用参数，还要让工程师知道它读的是哪一份，光把答案生成出来只算完成一半。 工程师输入需求，小潭子从器件资料里找候选，生成合规可用的BOM。对外材料里，这个场景的生成时间已经做到20秒。 20秒很直观，只盯着它，还没问到关键处。每条器件推荐的依据能不能回到规格书原文，精确到页码和表格位置。关键动作能不能让工程师先审，确认后再生效。每一步有没有版本记录，出了问题能不能回退。这些决定了一份结果能不能真的接进研发流程。 证据留好以后，工程师并没有被拿掉。他从重复翻资料、重复核参数里出来，站到真正需要判断的位置上。常规、明确的部分让系统先跑，资料有冲突、约束比较特殊的部分，清清楚楚递到他面前。时间花在只有人能负责的判断上，这比省几分钟值钱。 我们也没觉得这条路已经走完。一个产品能在物料选型里交付结果，不等于所有研发岗位都能马上交给智能体，模型给出的每个结论也不天然可靠。技术要进现场，就得接受工程流程的检查，接受工程师的质疑，接受质量体系的追溯。 标准对AI严格一点，是好事。 制造业本来不允许「差不多」。设计里的一个参数，最后会走到一张电路板、一台设备、一条产线上。模型在聊天窗口里说错一句，和模型把错误写进工程文件，是两种风险。 回过头看Anthropic这次断网，我不觉得这说明AI不行了。能力越往前走，验证、隔离、权限、记录越要一起跟上。否则工具箱给了它，你却不知道它拿起了哪一把。 能力演示会一场接一场地更新，供应商会换，今天流行的架构过几年可能又不一样。一个工程结果能不能追溯，关键动作有没有人把关，异常能不能被发现，流程能不能稳定交给下一位同事，这些问题不会过时。 下一次评估AI能不能在制造业研发上使用，把这几件事摆上桌面。它能不能找到对的资料、讲清出处，能不能在越过权限之前停下来，能不能在不知道的时候把不知道说清楚。 这样的AI可能没那么像科幻电影里的全能机器人。它离真实研发现场更近。 附 Anthropic 报告原文 Investigating unintended model actions in our evaluations and internal use，2026年10月9日发布，链接放在「阅读原文」。
