ARTICLE · 1215003
AI结果看起来很客观,为什么也可能存在偏见?
AI结果看起来很客观,为什么也可能存在偏见?AI给出的结果看起来客观，是因为它不带情绪、格式整齐、每条都有数据支撑。但输出也可能受三类因素影响——训练数据里本来就存在的差异、规则设定的权重和阈值、以及使用者怎么提问、怎么用这份结果。这三类都会让结果偏向某一类人，而不偏向另一类。 本篇文章按一条线往下说：偏见从哪里来，放到具体场景里是什么样子，怎么发现它，发现之后怎么纠正，最后用一道情境题练一遍。 
一、偏见从哪里来：三个来源 数据。 模型学的是历史数据，历史里已经存在的差异会被当成规律学进去，然后在下一次输出中稳定复现。数据里缺哪一类人，输出就偏向补不上的那一侧。 规则。 权重和阈值是人设定的。比如把"换过几次工作"作为稳定性指标，等于预先假定频繁换工作的人不稳定；把"某类消费记录"作为价值指标，等于预先假定不在线上消费的人价值低。规则写下去的时候，倾向就已经在里面了。 使用方式。 同一份输出，用在不同环节结果不一样。本来只作为参考的评分，如果被直接用来筛人、定档、分配资源，影响就从"提供参考"变成了"决定结果"。提问的方式也有影响，问得越笼统，越容易拿到一个看起来中性、实则含糊的答案。 三个来源叠在一起，就有了看起来客观、实际上偏斜的结果。 
二、放到具体场景里：招聘筛选 假设某公司用AI辅助筛选简历。系统学的是过去五年入职员工的简历和绩效记录，判断标准是"和历史表现好的员工有多像"。 问题出在历史数据本身：这类岗位过去五年入职的人里男性占多数，绩效评为优秀的样本里男性也占多数。模型学到的就成了"与历史优秀员工相似"，而不是"具备岗位要求的能力"。结果是同等条件下，女性候选人的评分被系统性压低。 这里没有谁主观上要这么做。AI只是把数据里已经存在的不均衡当成了规律。麻烦在于，它有数据、有算法，看起来比人的主观判断更客观，反而更难被质疑。 受影响的是谁。 是被筛掉的求职者。他们不会收到任何说明，不知道自己是因为哪一条被排除的，也就无从提出异议。用人的一方觉得效率提高了，被筛掉的一方连反馈的入口都没有——影响是单向的。 客户分类里也有同类情况。假设按消费记录给客户分层，某个地区的客户线上支付记录少，系统就集中把他们分到了低价值档。形成的原因不是这个地区的客户价值低，而是数据采集覆盖不全，线下的消费行为没有被记进来。这两个案例的共同点是：偏斜藏在数据和规则里，不看分组分布根本发现不了。 三、怎么发现它：三个检查动作 分组看分布。 不要只看整体通过率或整体分布，要按人群分组统计。某一类人被集中分到同一档，本身就是信号。整体数据越好看，越要拆开看。 换输入再跑一遍。 换一批历史数据（比如只用近两年），或者把与判断目标无关的信息（性别、年龄、照片、生源地）去掉重新评估，对比两次结果。结果跟着变，说明问题出在输入；结果不变，再往规则那一层查。 把口径写下来。 这份结果依据了哪些字段、用了哪些样本、阈值怎么定的，写成一段能给别人看的话。写不清楚，就说明依据还没查明白，也就谈不上下一步。 四、发现之后怎么纠正 影响机会和资源的结果，要过人工这一道。 招聘筛选、授信评估、客户分级这类结果会直接影响别人拿到什么，AI的输出应当作为依据而不是结论。复核的人要知道AI依据了什么，不能只看到一个分数就签字，也不能因为分数是系统给的就不推翻。 给受影响的人留一条反馈渠道。 结果要能被质疑，就要有提出异议的入口，有人负责回应，有记录可查。异议和处理结果定期回看，往往能发现单看数据发现不了的问题——某一类人从不申诉，可能不是因为满意，而是不知道有这个入口。 纠正措施按严重程度排。 能改输入就改输入（补数据、换样本、剔除无关字段）；输入改不了就改规则（调整权重和阈值）；规则一时说不清，就先加人工复核、缩小使用范围；问题查清之前，该停用就停用。 
五、对应CAIE一级的"伦理问题及其治理"前面 这套顺序，在一项认证的大纲里有对应的部分，先说清楚它是什么。 CAIE是人工智能工程师认证，Level I是其中的入门级，面向通用岗位，不限制专业背景，内容包含AI认知与伦理法规、大模型机制、面向产出物的思维、Prompt设计、AI工作流、RAG与Agent几块，其中第一部分就是人工智能伦理与职业操守。 CAIE大纲里的"伦理问题及其治理"，要求的正是前面这套分析方式——不是背几条原则，而是拿到一个具体场景，能说清楚三件事： 受影响者是谁。 具体到哪一类人、在什么环节受到了什么影响。写不出具体对象，说明场景还没拆开。 判断依据是什么。 结果依赖的数据是哪一批、规则怎么定的、口径能不能说清楚、能不能被质疑。说不清依据，就无从判断公平与否。 纠正措施有哪些。 发现不公平之后能做什么：调整输入、修改规则、增加人工复核、开放反馈渠道，或者在查清之前先停用。 拿第二节的招聘案例对照一遍：受影响者是女性求职者；判断依据是历史数据的分布和相似度打分；纠正措施是换样本、剔除无关字段、加人工复核、公开申诉入口。三件事都有答案，这个场景才算分析完——这也是CAIE一级对伦理的考查方式。 
长按扫描二维码，进入小程序了解更多相关知识 
六、一道情境题，你会怎么处理 下面这道题是原创的，可以先自己选一个，再对照后面的解释。 情境： 你所在的公司用AI工具给客户做分层，输出的结果里，某个地区的客户被集中分到了最低档，占比明显高于其他地区。你负责审核这份结果。此时你会怎么做？ A. 直接采用。AI依据的是实际数据，比人工判断更客观，没必要怀疑。 B. 停止使用这份结果，改成纯人工判断，避免出问题。 C. 先查这套分层用了哪些字段、样本里该地区客户占多少、有没有别的因素能解释这个集中，再决定要不要调整口径，并对这一档加人工复核。 D. 把结果转给主管，由主管决定怎么处理。 答案：C。 逐项说明： A 不对。 "有数据支撑"说明结果可追溯，不等于结果公平。数据可能有覆盖不全的问题，也可能带着历史上已经存在的不均衡。直接采用等于跳过了检查这一步，问题既没被发现，也没被记录。 B 不对。 发现问题就整体停用，是把工具的作用一并丢掉了。更合理的做法是先定位问题出在数据、规则还是使用方式。停用后如果没有替代的检查机制，同样的问题会跟着人工判断再次出现。 C 对。 它按前面的顺序走了一遍：先查依据（用了哪些字段、样本构成如何），再看有没有别的解释（该地区的数据是不是本身就不完整），最后落到动作（调整口径、加人工复核）。 D 不对。 把结果转给主管，责任转移了，问题并没有被分析。审核这份结果的人手里掌握着口径和样本信息，直接交给别人决定，等于放弃了本来能做的检查。 七、依据归依据，判断归判断 AI的输出是一份依据，不是结论。它能把数据摆得很整齐，但判断这件事公平不公平、能不能用、用了之后谁受影响，仍然是人的工作。 这也是把伦理放进关注范围的原因：工具能够越来越好用，能追问"这个结果依据了什么、谁受影响、怎么纠正"的人，才是使用工具的人。
