夜雨聆风学习资料网

ARTICLE · 1273638

评审标准只有文档,他们让 AI 自己跑评审

评审标准只有文档,他们让 AI 自己跑评审

你的 AI 助手马上要处理敏感通信,上线前必须先过架构评审。你打开官方标准,却发现它只有文档,没有可以点下去的评审按钮。

这就是 Smarsh 遇到的麻烦。它做通信存档与合规,通信内容碰不得半点马虎,而这正是它第一个多智能体系统要过的关。

只有文档,没有按钮

所谓多智能体系统,就是几个 AI 分工协作完成一件任务。Smarsh 的第一项工作,是给合规提醒做智能复核。

官方的 Agentic AI Lens,就是这套评审的检查清单。它一共 150 条最佳实践,覆盖 41 个问题。按理说,照单检查就行。

结果却卡在第一步:这个检查清单在官方评审工具里还选不中,只能当文档读。本以为照着文档一项项打钩就行,结果发现,人工做一次要花好几天,而且每个评审员的写法都不一样。

把检查清单变成数据

Smarsh 没有等工具上线,而是换了一个思路:把清单本身变成机器能读的数据,再让 Claude 照着它评审。

做法并不神秘。150 条实践被整理成一份结构化数据,风险等级还对照附录核对过一遍。评审时,Claude 只读仓库里的文档、代码和测试记录,从中找到证据。

这里立了一条硬规矩:找不到证据就不猜,没有信号的项目标为未评审。同一事实出现在不同地方,结论必须一致。

这条规矩只在同一快照内成立:评审只读仓库快照,未评审不等于通过,数据须与 Lens 版本对应,仓库事后改了,结论要重提。

终稿之前还有两道关:确定性脚本校验未知编号与无效状态,人工复核分流时还会改动结论。

先考考评审员自己

故事的转折在这里。工具做出来了,团队却没有马上拿它去评审真系统,而是先考了它一回。

他们准备了两个假仓库:一个比较成熟,另一个故意做得很粗糙,里面藏着写死的密码,还有一次费用失控的记录。

有这个工具帮忙,两处合计 16 项预期全过。没有它,两处合计只过了 8 项,交出来的还是 18 到 39 条不等的临时清单,连不上那 150 条标准。

真评审挖出的缺口

通过自测之后,团队才用它评审真系统。几个小时后,一份带证据的评审表就出来了,不再是几天的手工活。

表里既有优点,也有缺口。缺口里最扎眼的几项是:网关入口的身份验证处在关闭状态(虽有记录在案的风险接受,仍列为高风险缺口),受不良行为者影响的消息内容没有做提示注入筛查,限流还只是一个待办项,也没有自动的费用控制。

提示注入说白了,就是外部消息里藏着指令,AI 误把它当成命令来执行。团队把这些缺口排了先后,又带着仓库回答不了的问题,去找 AWS 的架构师逐项对答案。

下次你的 AI 上线前,评审会是一开始就跑起来的流程,还是一份事后补的文档?

相关学习资料