我的朋友Siber也读了深圳法院AI系统的文章,写了一篇《深度思考|当深圳法院把 60 万个案子接入 AI 之后》,文章有个观点让我深受启发,展开聊聊。
2024年,深圳法院上线了一套人工智能辅助审判系统,把审判流程从立案到结案拆成85个节点,每个环节都设置了“审核、确认、决定”的门控选项。AI不能自己跑完全流程,必须裁判者手动确认才能进入下一步。
这个设计的意图很清楚:AI只是辅助,最终决定权在裁判者手里。
但有一个问题值得追问:制度设计者防住了“机器自动判案”,是否能防住了“主动把判断交给AI”?前者是技术越权,用流程管控就能解决。后者是人的心理逃逸,靠一个确认按钮未必防得住。
美国的COMPAS系统是前车之鉴。这套预测被告再犯风险的算法被部署在多个州的法院,裁判者被明确告知评分“仅供参考”,不能作为量刑的唯一依据。但是,研究发现,美国裁判者对这一系统的依赖“严重”(https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing)。
ProPublica的调查发现,COMPAS对被告两年内再犯的预测正确率大约是61%。对比Dressel和Farid的后续研究,则更让人意外:他们让没有任何刑事司法训练的普通人根据有限的案件信息做同样的预测,准确率大约是62%到64%,这和COMPAS大致相当。
一个并没有展现出压倒性优势的系统,为什么会显得比“普通人”更值得相信?因为它以“风险评分”的形式出现。一个数字、一个等级、一套看起来经过大数据训练的模型,这些东西自带科学权威的光环。美国的裁判者们未必是觉得算法比自己聪明,而是觉得引用算法比独立判断更安全、更省力、更不容易被质疑。
心理学把这种现象叫“自动化偏见”。它不是说人无条件相信机器,而是说当一个自动化建议已经摆在面前,人的心理默认状态会从“我来判断”悄悄滑向“我来看看机器有没有明显错”。前者是原始判断,后者是复核判断。原始判断要求你从零开始承担责任,复核判断只要求你发现明显异常。而很多错误并不以“明显异常”的方式出现。它们看起来合理,嵌在一整套流畅的系统输出里,不触发任何警报。
所以“仅供参考”不是魔法咒语。只要参考对象足够省力、足够权威,它就会从参考滑向决策。
其实法律人对这种心理结构并不陌生。只不过在AI出现以前,逃向的不是算法,而是一般条款。
法学方法论里有一个经典批评,叫“向一般条款逃逸”。它描述的是这样一种现象:明明有具体的法律规范可以适用,裁判者却绕开那些需要逐一检验构成要件的条文,转而援引诚实信用原则、公序良俗、公平原则这类一般条款来裁判。
为什么要绕?因为具体规范是刚性的。构成要件满足就满足,不满足就不满足,裁判者没有太多回旋余地。而一般条款弹性大,几乎任何结论都可以往里装。对一个已经在直觉上形成了判断的裁判者来说,一般条款提供了一条阻力最小的论证路径:不需要做精细的请求权基础分析,不需要处理规范竞合,只需要在价值层面做一番宏观论述,结论就立住了。这个现象在中国的司法实践中也不少见。在一些裁判中,合同纠纷明明可以从合同编的具体规则展开,却直接诉诸诚实信用原则;侵权案件明明应当先处理归责基础,却转而从公平原则切入。
一直在批评这件事,但始终没能根治,因为它的驱动力不在方法论层面,而在心理层面。
现在把这两个东西放在一起看。
一般条款和算法评分,一个来自法律体系内部,一个来自外部的技术系统。二者的规范地位当然不同,一般条款毕竟是法律内部的规范,AI输出只是技术性辅助信息。但驱动裁判者走向它们的心理力量,是一样的。
都是认知捷径。一般条款把复杂的规范分析压缩成“公平不公平”,AI把复杂的判断过程压缩成“系统提示如此”。都在转移责任。
“这是诚实信用原则的要求”和“这是系统基于数据的评估”,是同一个句式。不是说裁判者有意推卸,而是在高压环境下,人会自然偏好那些能稀释个人责任感的决策框架。
一般条款有道德光环,AI有科学光环,两者都让一个本来需要细密论证的结论看起来已经获得了更高层级的背书。最终,都是形式上保留了裁判者的主体地位,实质上让渡了判断权。
一般条款是法律内部的捷径,算法是技术外包的捷径。这不是两个问题,而是同一个问题在不同时代的两副面孔。
如果把视野再拉远一点,一般条款和算法只是裁判者可以逃向的众多“低阻力路径”中的两条。还有逃向惯例的:“以前都这么判”。逃向上级意见的:“请示过了”。驱动这一切的公式很简单:高认知成本 + 高责任压力 + 可用的权威锚点 = 逃逸冲动。
AI只是最新的、也是最强的一个权威锚点。一般条款至少还要求裁判者组织一套价值论证,而AI可能直接给出争点、类案和倾向性结论,连论证的起点都替人摆好了。它比请示上级更快,比援引惯例更体面:“智能辅助”听起来比“照搬旧案”高级得多。
所以回到深圳系统。内控设计是必要的,它确保了AI不会在形式上闭环完成裁判。但它不是充分的,因为它解决的是流程控制问题,不是认知依赖问题。留痕机制能证明“裁判者点击过确认”,但不能证明“裁判者进行了独立判断”。前者是操作痕迹,后者才是裁判责任。一个确认按钮,既可以是刹车,也可以是电子盖章机。
这将是一个复杂的命题:如何让裁判者在心理上停留在“我来判断”,而不是滑向“我来批准AI的判断”。
司法AI真正危险的地方,不在于机器会越权判案,内控设计已经在形式上堵住了这条路。危险在于,AI可能成为有史以来最舒适、最正当、最难被发觉的一条逃逸路径。技术最危险的地方,往往不是它强迫人服从,而是它让人觉得:听它的,很对啊。
欢迎加我微信交流。

夜雨聆风