ARTICLE · 1138176
AI系列(6)I 黑箱与可解释性:AI 的决定,为什么常常"说不出道理"
AI 质量:工具越聪明,越要有人管 · 篇章二 06
黑箱与可解释性:AI 的决定,为什么常常"说不出道理"
AI 判了"不合格",却说不清为什么——这在质量人的世界里,是最要命的一句话。
前两篇讲了 AI 会看走眼、会悄悄变质,这一篇讲它最"说不清"的那一面。有经验的质检员判一件不合格,能说出个子丑寅卯:哪个部位、什么毛病、大概什么原因——因为后续的返工、分析、归因、追溯,全靠这句话。可真到 AI 这里,常常是:它笃定地判了"不合格",可你要问它"为什么",它只有一堆算不出来的权重,说不出个所以然。一个判得对但说不清理由的 AI,在质量人的世界里,是最要命的。
01
当 AI 判了"不合格",却说不清为什么
先摆一个很真实的场景。产线上,AI 质检把一件零件判成了不合格。这本身不稀奇。稀奇的是接下来那段对话:工程师追问"它到底哪儿不对、什么原因",AI 给不出答案。不是它藏着掖着,是它的判断过程——上亿个参数在高维空间里做非线性运算——人根本没法用"因为 A,所以 B"去解释。
于是问题来了:判件的 AI 越准,它"说不清楚"的尴尬就越突出。一个连人类都解释不了的决定,怎么让人敢放它去当质量的唯一判断?这不是玄学,而是 AI 质检从"能用"走向"敢信"之间,必须翻过去的一道坎。
02
质量的世界里,"理由"是命根子
为什么偏偏在质量领域,"说得出理由"会这么重要?因为质量这件事的整个链条,都建立在"可解释"之上。一件缺陷被挑出来,后面跟着一整套动作:返工或报废、缺陷机理分析、归因到设计/工艺/来料、更新 FMEA 与防错、追溯同批次、横向展开排查。这套动作的开头,全依赖一句话——"它为什么坏"。
如果 AI 判了不合格却给不出理由,那不管它判得多准,整条质量闭环都断在第一环:没法返工定位、没法归因、没法追溯、没法举一反三。判出来是第一步,解释清楚才是后续所有质量动作的入口。
更别说 8D、PPAP、召回取证这些带着责任和合规的场景——当缺陷摆上桌,谁承担责任、采取什么措施,都要说得清清楚楚。一个只会下判断、不会讲道理的判断者,在责任面前是立不住脚的。
03
为什么 AI 偏偏说不清
那 AI 为什么就说不清呢?这得从它是怎么"想"的讲起。传统规则或浅层模型,判断路径能写成人能读的规则;但现代深度学习不一样——它不靠显式规则,而是靠海量数据自动"学"出一组高维、非线性的内在表示。在这个表示里,每个决定都是成千上万特征的复杂叠加,人脑没法还原出"因为哪个特征超界,所以不合格"。于是深度模型强在"准",弱在"讲得清楚",这在行话里就叫"黑箱"。
好在这几年有一个方向叫"可解释 AI"(XAI),正在把黑箱撬开一条缝:可以对每个判定做特征归因,解释"是哪个特征、哪块区域让 AI 下的这个结论";也可以让简单可解释的规则模型和深度模型搭配,用规则兜住关键决策。方向是对的,但现实是:追求可解释性,常常要以牺牲一点精度为代价。这又是一道质量人必须做的权衡。
04
质量人对"黑箱"的立场
面对黑箱,质量人该有的不是恐惧,而是章程。至少守住三件事。
🔎 分清场景,该可解释就可解释
影响安全、涉及责任追溯的高风险判定,宁可要"可解释但略保守"的模型,也不要"极准却说不清"的黑箱;把可解释性当硬指标。
📝 记录决策依据,留"AI 的账"
每次判定保留输入特征、模型版本、可解释输出、置信度——为的是将来回查时能说清"当时凭什么这么判"。这就是 AI 场景下的"可追溯"。
🤝 关键处人机共判
AI 负责广度,人负责解释与兜底;遇到 AI 说不清、又确实高风险的件,交给人来定。
"AI 判得准,是它的本事;AI 说得清,是我们的责任。一个不会讲道理的判断者,在质量与责任面前立不住脚。"
📌 这一篇你带走什么
AI 判了不合格却说不清为什么,这在质量上是致命的——返工、归因、追溯、8D、召回取证全断在"理由"这一环。面对黑箱:高风险判定该可解释就可解释、别只图准;给 AI 记"决策账"(特征/版本/置信度)做到可追溯;关键处人机共判。到这一篇,篇章二"AI 的失效"收官。下一期翻开篇章三:AI 开始被审计——VDA 6.3 供应链里的 AI 溯源新规。