AI自作主张引发的事故,说企业数字员工行为规范的重要性

事故复盘：

Skillflaw官网（https://www.skillflaw.com）的改版，标准的流程如下：

1. AI Code根据改版需求，进行网站改版修改。
2. 完成后，AI Code 自动build，若有错误进行修改。
3. AI Code自动启动local server，对改版结果自动切屏验证。
4. 测试没有问题，则会总结修改的内容，并会提出建议发布到生产如下图：
   
5. 然后会人工再验证一下，若没有问题则让其发布上线；若还有问题则让其继续修改。如上图。

以上的过程一直很顺畅、稳定，直到发生这事情：自动执行了上线：

• 提修改需求：AI一切正常。

• 事故：AI擅作主张进行了生产发布
  
• 指示AI Code：非明确发布指令，严禁生产部署
  

上面仅仅是一个小事故，但我们看到了AI聪明的危险：

AI Agent会对自己做的工作进行总结，但若信息不完整这种总结可能是错的（就如上面的私自发布的事故，它看到了在每次建议上线后，我都让它上线，但不知道这中间我做了什么，因此做出了错误的总结：验证通过可以上线），有时候这种错误会是致命的。

AI事故警示

上面的AI小事故，给我们的警示：

• AI的聪明让我们惊喜与惊叹，但自作聪明其实何尝又不是聪明呢？
• 企业数字员工，完全无法承受这种自作聪明：必须非授权不操作。