乐于分享
好东西不私藏

AI正在进入高利害决策,但验证系统先失效了——而且没人发现

AI正在进入高利害决策,但验证系统先失效了——而且没人发现

先说这三件事。

Oracle裁员21,000人。不是"业务调整",公司自己在财报里写的很清楚——"AI技术的采用导致劳动力缩减。"同期,Oracle宣布将通过债务和股权筹集450到500亿美元,扩建AI云基础设施。一句话概括:AI帮公司省了人的钱,然后公司拿省下来的钱去买更多的AI。

裁掉两万人。没有解释AI具体替代了哪些岗位、决策逻辑是什么、有没有人复核过。没有。

同一天,一项覆盖340万人、400万份申请、150家雇主、1700个职位的大规模实地研究结果被报道。结论是:AI招聘筛选工具存在系统性的种族偏见——26%的黑人申请者和15%的亚裔申请者遭遇了算法对族群的系统性排斥。如果AI按推荐率最高的群体(通常是白人)的标准执行,将有4万份额外申请进入下一轮。

更值得注意的一个概念是"算法单一文化"——多数雇主依赖同一家第三方供应商的算法,导致10%提交4份申请的人被所有职位拒绝。也就是说,同一个算法模型,在150家公司的招聘流程里做着同样的筛选。你没有被一家公司拒绝——你是被整个系统拒绝了。

还有一件事。苹果的机器学习研究团队发了一篇论文,测试了用大语言模型组成的"评审面板"(LLM-as-a-judge panel)——就是把多个AI模型凑在一起当评审团,以为人多就客观。

他们在7个模型家族的9个前沿模型上做了测试。结论很刺眼:9位评委,实际只提供了约2个独立投票的信息量。面板准确率比独立投票的理想值低了8到22个百分点。

9人评审小组仅等效2.18个独立投票人,Condorcet差距衡量实际准确率低于理论预测的幅度。0.2pp提升属噪声范围(11次平局,1.1%)。

最好的单一模型的表现,已经匹敌甚至超过了整个面板。增加评委数量和聚合算法改进几乎没用——瓶颈不在"怎么汇总",在"评委之间太像了"。

9名评审员,ChaosNLI-MNLI错误率以100名标注员多数标签为基准。任何数据集上均未显著优于最佳单个评审员

停一下。这三件事放在一起,暴露出一个结构性问题。


不是AI做错了。是"验证AI有没有做错"这件事,没人做——或者做了也做不对。

先看每个事件的表面。

Oracle裁员——表面上是"AI降本增效"。但这个解释不够。更深的问题是:当一家公司声称"AI导致了裁员",没有任何独立的、透明的机制来验证这个说法。到底是AI真的替代了那21000个岗位,还是公司借AI的名义做了常规的成本削减?没有人知道。没有审计轨迹,没有第三方复核,没有公开的解释框架。

AI招聘偏见——表面上是"算法有偏见,需要改进"。但这个解释也不够。更深的问题是:150家雇主在用同一家供应商的同一套算法,形成了一个"算法单一文化"。你不会被一家公司的偏见拒绝——你会被整个行业招聘系统的偏见系统性排除。而你永远不会知道。你不会收到一封邮件说"抱歉,我们的AI判断你不适合"。你只会收到沉默。

Apple的LLM评审面板研究——表面上是"LLM做评审不够好"。但更深的问题是:这暴露的不是AI的弱点,而是我们验证AI的方式本身存在结构性缺陷。九位评委两个有效投票——不是AI不够聪明,是AI和AI之间太像了。它们被同样的数据训练、被同样的目标优化、犯同样的错误。用AI验证AI,就像用同一个老师教出来的学生互相批卷子。你以为有九个不同的声音,实际上只有两个。


这里有一个值得记下来的跨域概念:古德哈特定律的AI版本

古德哈特定律的原话是:"当一个指标变成了目标,它就不再是一个好的指标。"在经济学里,这意味着如果你用GDP来衡量一个国家的成功,人们就会开始做那些提高GDP但不一定提高福祉的事。在AI里,同样的事情正在发生——但更隐蔽。

AI招聘工具的优化目标是什么?不是"找到最合适的人",而是"找到和历史被录用的人最相似的人"。因为训练数据里没有"谁更合适",只有"谁之前被录用了"。算法学到的不是"判断",是"复制"。而且它复制的不是用人经理认为自己在做的判断——它复制的是隐藏在历史录用数据里的所有无意识偏见。

这就是为什么26%的黑人申请者被系统性排斥——不是因为有人在算法里写了"拒绝黑人",而是因为优化目标本身就是有偏的。当"和历史数据一致"变成了目标,公平就消失了。

同样的事情发生在Oracle的裁员里。裁员的优化目标是什么?降本。AI识别出哪些岗位可以"优化掉",依据是成本效率模型。但这个模型不会考虑"这些人在组织里扮演了什么不能被量化但真实存在的角色"——因为那些东西不在优化函数里。不是AI坏。是AI只优化你让它优化的东西。而你没让它优化公平、透明、或可解释性。

Apple那篇论文揭示的是同一件事的另一面:当"让AI评审AI"变成了目标,我们真正想要的"独立判断"就消失了。九位评委给出两个有效投票——因为所有评委都在优化同一个东西。

先停一下。这里有一个关键区分。

不是AI在故意做坏事。是我们在用一个不需要做坏事就能造成伤害的系统。

这个区分很重要。因为如果问题是"AI变坏了",解法是让AI变好。但如果问题是"我们部署AI高利害决策的方式本身就有结构性缺陷"——解法完全不一样。变好没用。得变结构。


这个裂缝在扩大,而且有三个方向在同时撕

第一个方向:决策权在转移,验证权没有跟上。 AI正在从"建议者"变成"决策者"——不是它自己决定要变的,是我们把它部署到了那个位置。Oracle裁21000人的决策背后有AI,AI招聘覆盖340万人,五眼联盟同一天警告AI驱动的网络攻击"数月内将影响普通用户"——AI同时在决定谁被裁、谁被录用、什么是威胁。但验证这些决策是否正确的能力,没有在同步建设。

第二个方向:"算法单一文化"在制造系统性风险。 150家雇主用同一家供应商的同一套算法,不是150个不同的偏见,是150倍的同一个偏见。在金融系统里,这叫做"系统性风险"——所有人持有同一种资产,一个人崩了所有人一起崩。AI招聘里的"算法单一文化",是同一个逻辑。你不只是被一个算法的偏见影响了——你是被整个生态的同一个偏见排除了。

第三个方向:我们的验证方法本身在失效。 Apple的论文给了最直接的证据。当你用一群AI去验证另一个AI时,你以为你在增加安全性,实际你只是在增加冗余。不是更多的评委等于更客观的判断。是更相似的评委等于更不可靠的验证。

Oracle裁掉21,000人,同时借500亿买更多AI。

这不是"AI在提升效率"。这是AI在同时做运动员和裁判——替公司决定谁不必要,然后替公司花钱去买更多让自己更会做这个决定的算力。循环闭合了。人在外面。


三个接下来会发生的事

第一,会出现一批"AI审计师"——不是因为监管要求,是因为风险太大了。 当一个算法能决定340万人的求职结果,或者两万人的去留,纯粹的"信任我们"已经不够了。不是因为人们不信任AI公司,是因为没有人能承受"万一是错的"那个后果。审计会成为独立的第三方职能——和财务审计一样。不是AI公司自己做,是外部做。

第二,会有人开始讨论"算法多样性"——不只是数据多样性,是算法本身的多样性。 Apple那篇论文的政治后果会比技术后果更大。如果你能证明九个AI评委实际只给出两个独立判断,你就能在所有需要AI监管的场合引用这篇论文,来论证"用AI监管AI"是不够的。算法单一文化的讨论会从招聘扩展到信贷、保险、司法。

第三,被AI决策影响的人会开始要求"被AI拒绝的权利"——类似于GDPR里的"不被自动化决策的权利"。 150家公司用同一套算法筛选你,你不知道,你无法申诉,你无法知道为什么被拒。这个状态在法理上是脆弱的。不是"会不会有案子"——是哪一天。


回到最底层,这件事其实在问一个很简单的问题。

当一个系统能替我们做越来越多的决定——而且这些决定的后果越来越严重——我们到底有没有一套机制来检查这些决定的对错?

目前的答案是:没有。而且我们用来检查的那套东西——评审面板、基准测试、准确性报告——自身就在失效。

这不是一个技术问题。这是一个制度设计问题。技术上,我们有能力让AI做招聘、做裁员、做安全判断。制度上,我们没有能力验证这些判断是否公平、是否正确、是否可逆。

人类社会的很多制度——法庭、审计、同行评审、监察员——本质上都是验证机制。它们的存在不是因为"会有人犯错",而是因为"犯错之后需要有办法发现和纠正"。AI正在大规模进入决策领域,但对应的验证制度还没有被发明出来。

今天真正的风险不是AI太强。是AI已经开始替我们做决定,而我们还没建立起来检查这些决定对不对的那层制度。


今天的观察已归档。如果你想在自己的知识系统里记住这件事,关键词是:无人验证区 · 算法单一文化 · 古德哈特定律的AI版本 · 验证权滞后 · 决策闭环

当指标变成了目标,目标就已经吞噬了意义。九位评委,两个有效投票。不是人多就客观。AI时代的真正瓶颈不是能力,是可验证性。