夜雨聆风算法对你说不， 你问为什么的机会都没有
──
我的朋友老张最近被拒了一笔贷款。
他在一家公司做了十二年，信用记录干净，收入稳定。他被拒的理由只有一个字：系统说不行。他打电话问银行，客服说系统评分没过，具体原因看不到。他问那能不能人工复核，客服说这个产品是全线上的，没有人工复核通道。他问那谁来决定，客服说算法。他问算法是谁，客服沉默了几秒，说先生我理解您的心情但我这边确实没有办法。
老张跟我讲这件事的时候语气还算平静。他说我不是生气，我是有一种很奇怪的感觉。我活在这个世界上，一个我看不见的东西决定了一件事，而我没有资格问它为什么。更讽刺的是，这个「东西」可能根本不存在，它不是一个人，不是一个机构，它只是一堆代码。但它的决定，比我这个活生生的人的所有努力都重要。
老张的遭遇不是个例。它是一个正在发生的全球性现象。AI正在成为我们生活中最重要的裁判者，但它的判决书上从来不写理由。
算法时代最残酷的现实： 它否决你的时候，你连申诉的对象都找不到。
──
一、它已经在你生活里了，只是你没意识到
过去几年，AI决策系统已经悄悄渗透到了几乎所有领域。招聘环节，你的简历在到达面试官之前已经被算法筛过一次。金融机构，你的贷款申请在被人看到之前已经被模型打了分。医疗机构，你的体检报告在医生解读之前已经被AI做了初步判断。司法系统，在某些地区嫌疑人的保释决定参考了风险评估算法的结果。
这些系统的共同点是：它们不以「理解你」为目标，它们以「把你归入某个类别」为目标。它们不关心你为什么是这个月的支出比上个月高，它们只关」你被归入「高风险」还是「低风险」。它们不关心你的简历上有一个职业空窗期是因为你照顾生病的母亲，它们只关心「空窗期超过六个月」这个特征在你的评分里扣掉了多少分。
它们的本质是一种分类机器。把你放进一个格子，然后根据那个格子决定你的命运。你没有机会解释，没有机会补充信息，没有机会让对方看到你是一个「人」而不是一个「数据点」。
我们觉得这件事不对，但很难说清楚哪里不对。哲学家们一百年前就开始描述这种感觉了。
──
二、你不只是一个「案例」
上个世纪中期有一位叫阿多诺的哲学家，他在研究「文化工业」的时候发现了一个可怕的趋势：现代社会正在把所有独特的东西变成标准化的产品。音乐被分类，艺术被分类，人也被分类。一旦你被放进某个类别，你的独特性就被取消了。你不再是谁谁谁，你成了一个「样本」。
这种逻辑在AI时代被推到了极致。算法不是根据「你这个人到底怎么样」来做判断，而是根据「跟你相似的那群人通常怎么样」来推断你。不是看你的独特情况，而是看你的标签组合。年龄加职业加居住地加历史行为，你在这个组合里的位置，决定了你会得到什么结果。你是你，但你又不是你。你是一个统计上的概率。
这和中世纪不同。中世纪贵族对平民的审判至少是人面对人的。你站在法官面前，法官能看到你的表情，能听你说出你的故事。现在，你面对的不是一个人。你面对一个系统。这个系统不会因为你紧张而放慢速度，不会因为你真诚而改变判断。当然它也不会歧视你，但它也不会「看到」你。阿多诺会说，这就是标准化最可怕的地方，它不仅消灭了你的独特性，还让你误以为这是公平的。
而另一位叫福柯的哲学家，他一生都在研究「分类」和「权力」的关系。他发现权力的最高境界不是命令你做什么，是把你放进一个类别，然后让你自己按照这个类别的要求来行事。监狱不是用来关人的，是用来生产「罪犯」这个类别的。学校不是用来教人的，是用来生产「学生」这个类别的。
AI信用评分系统也一样。它不是在评估你，它是在定义你。当它把你归入某个信用等级，这个等级就成了你社会身份的一部分。你去找工作，雇主看重它。你租房子，房东看重它。你申请保险，保险公司看重它。它不是你的一种属性，它变成了你本身。你被你的评分替代了。
当算法把你归类， 那你就成了那个类别。 不是别人这么看你， 是社会系统的每一个环节都这么对待你。
──
三、问题的核心不在技术，在责任
很多人觉得AI决策的问题在于技术不够准。确实不够准。大量研究显示，AI在某些领域存在显著的系统性偏差。比如某些信用评分系统对特定人群的误判率更高。比如某些招聘算法对女性的评分系统性偏低。这些问题当然需要解决。
但更深层的问题不是准确率。更深层的问题是：当一个错误发生的时候，谁来负责？
传统社会里，一个人做了错误的决定，你知道该找谁。法官判错了，你可以上诉。医生误诊了，你可以投诉。老板看走眼了，你可以跟他沟通。错误是跟人绑定的，有责任就有一个承担责任的「面孔」。
有一位叫列维纳斯的哲学家，他认为「面孔」是一切伦理的起点。当你面对另一个人的面孔时，你无法忽视他的存在。你必须回应他。这也是为什么一个人的求助比一封冰冷的拒绝信更让你动容。面孔本身就在向你发出呼唤。
AI决策系统最大的问题不是它犯错误，而是它没有面孔。你被拒绝了，但那里没有人。你不能盯着算法的「脸」问它为什么。你不能让它感受到你的失望或愤怒。你能做的只有接受结果，或者花无数精力去寻找那个理论上应该负责的人。而这个人通常不存在，因为开发算法的是一个团队，训练模型的是另一个团队，部署系统的是第三个团队。三个人都觉得自己只是「执行指令」的那个人。
这就是阿伦特说的「平庸之恶」在数字时代的全新版本。不是有人心怀恶意，是所有人都觉得自己只是一颗螺丝钉。没有人觉得自己有责任。系统运行起来了，决定做出来了，人被拒绝了，但没有任何一个人做错了任何事。
最让人无力的事情： 所有的机制都在正常运转， 但你被碾过去了。
──
四、组织在效率幻觉中的迷失
回到开头老张的故事。
那家银行用AI做信用评估，理由非常充分。传统人工审批慢，成本高，标准不统一。AI审批快，成本低，标准一致。从组织管理的角度看，这是一个极其理性的选择。股东会满意，管理层会满意，大多数客户也会满意，因为审批速度确实快了。
但那个被拒绝的老张呢？那个在系统里没有复核通道的人呢？当组织的效率最优解恰好落在你头上成为成本的时候，你才意识到效率不总是对的。
每个用AI替代人工决策的组织，都在面对同一个选择：你要不要保留一个人工干预的接口？保留的话，效率会降低。不保留的话，你可能会在某个看不见的地方伤害那些不该被伤害的人。
大多数组织选择了不保留。因为伤害是不可见的。被拒绝的人不会出现在董事会会议上。被错误归类的人不会出现在季度报告里。系统正常运转，指标在变好，而那些被误伤的人，他们的故事你没有机会听到。如果你听到了，你可能会改变决定。但问题是你听不到，因为根本没有让他们说话的通道。
这就是福柯说的「全景敞视」在现代社会的延伸。过去是少数人监视多数人。现在是少数人设计系统，系统监视多数人，而系统本身不受监督。最讽刺的是，那些设计系统的人也觉得自己在做一件中立的事。他们只是在优化一道数学题。
系统越高效，被它误伤的人就越沉默。 因为没有一个机制让他们发出声音。
──
五、一道需要所有人回答的问题
写到这里，我想分享一个可能不那么流行但很重要的观点。
AI决策系统本身不是问题。问题是它被使用的方式完全没有留出「人的空间」。我们太相信数学了，以至于忘记了数学模型描述的是过去，不是未来。它告诉你的是「跟你有类似标签的人过去有什么表现」，不是「你未来会怎样」。前者是统计，后者是命运。把统计当命运，是我们这个时代最大的傲慢之一。
一件事如果会影响一个人的生活，就应该保留让一个人来做最后决定的环节。不是让AI做决定然后人走过场，是让AI提供信息，让人类做决定。AI可以告诉你这个申请者有百分之多少的风险，但由谁来告诉他「不」，这个「面孔的责任」，应该由一个真正的人来承担。
这不是效率的问题，这是伦理的问题。它是一个组织的选择，也是一个社会的选择。你选择让算法替你拒绝一个人，还是选择让人替你的组织承担责任。这个选择，比任何技术参数都更决定你是一个什么样的组织。
我看到有一些公司已经开始意识到这一点。它们开始在AI审批流程里加入「异议通道」。被系统拒绝的人可以申请人工复审，而人工复审的结果会被反馈回系统用于改进。这个通道必然降低效率，但它保留了人和人之间的基本尊重。对那个被拒绝的人来说，被一个人拒绝和被一个算法拒绝是完全不同的体验。一个人拒绝你，你可以问为什么。一个算法拒绝你，你只能憋着。
效率为人的尊严让出一点空间， 这不是倒退， 这是文明。
──
昨天老张在微信上跟我说了一段话，我觉得很适合作为这篇文章的结尾。
他说：我后来找到那家银行的支行长，直接打电话过去了。我说我不是要你帮我改结果，我就是想知道我被拒绝的理由。行长帮我查了，说系统显示你名下有一笔逾期记录。我说那笔逾期是因为更换银行卡的时候自动扣款失败了，我第二天发现就补上了。行长沉默了很久，说，这个情况系统不会判断。我说我知道。
「我知道」这三个字就是全部的问题。
系统不会判断。而系统不会判断的时候，谁来判断？
这个问题，没有标准答案。但你应该想一下。因为下一个被系统误判的人，可能就是你。
·
如果这篇文章对你有触动，欢迎转发给一个也在关注这些问题的朋友。
也欢迎在评论区聊聊，你被算法决定过什么？