我所理解的 AI + 法律科技(五):法律 AI 到底怎么算好用?|Trialday升堂-夜雨聆风

我所理解的 AI + 法律科技(五):法律 AI 到底怎么算好用?|Trialday升堂

前段时间，我和 quote.ai 的创始人徐诗楠聊法律 AI，聊到一个很有意思的问题：技术产品往往有相对清楚的测评方式，代码能不能跑、结果对不对、任务有没有完成，多少都有一些可验证的标准。但法律 AI 很尴尬，行业里到现在也没有一个特别好的测评体系。不是大家不想测，而是法律服务本身就很难被一套简单题库或者分数测出来。

——编者按

上一篇说，法律是个系统性工作。这一篇接着说一个更现实的问题：一个法律 AI，到底怎么算好用？

现在很多法律 AI 产品已经很会说“法律话”了。它会引用法条，会写风险提示，会说“建议进一步明确”，会说“存在一定法律风险”，会说“不排除被认定为无效的可能”。乍一看，确实像那么回事。

问题也恰恰在这里。

它太像律师了。更准确地说，太像一个刚学会写法律意见、但还没有真正做过交付的律师。

所以评价法律 AI，不能只看它像不像律师。因为律师里面，也有很多废话很多但不好用的律师。一个法律 AI 好不好，最终不取决于它能不能写出一段漂亮回答，而取决于它能不能把一个混乱的现实问题，整理成一个有结构、可判断、能行动、知道边界的法律交付。

低质量法律 AI 急着回答，高质量法律 AI 先拆问题

大部分的法律AI，像通用AI一样，最大的毛病是太爱回答了。

用户问：“公司把我开了，能不能赔钱？”它马上开始讲劳动合同法，讲经济补偿，讲违法解除，讲 N、N+1、2N。讲得不能说错，但有一种熟悉的危险气息。

因为一个做过实务的人会知道，客户这句话根本不是一个法律问题，它只是一个情绪包。

“公司把我开了”里面，可能藏着试用期解除，可能是协商解除，可能是违法解除，可能是经济性裁员，也可能只是老板口头说了一句“你明天不用来了”。这几种情况，对应的规则、证据和处理方式完全不一样。

一个低质量法律 AI 会把它当成问答题。一个高质量法律 AI 会先意识到：这不是法考题，这是现实世界的案子。

法律人的训练，最重要的并不是背了多少法条，而是知道客户那句大白话背后，到底藏着几个法律问题。

大陆法系讲请求权基础。说人话就是，先别急着发表意见，先问清楚谁向谁，基于什么法律关系，主张什么权利，请求什么结果。

英美法律写作里常讲 IRAC，先识别问题，再说明规则，再适用规则，最后给结论。名字洋气一点，本质也差不多：别上来就拍脑袋，先把结构搭起来。

客户说“对方欠我钱”，你不能马上说“可以起诉”。你得先判断这是借款、买卖款、服务费、投资款、合伙款，还是代垫款。请求权基础错了，后面写得再漂亮，也是在错误道路上一路狂奔。

很多法律 AI 最大的问题，不是不会找法条，也不是不会写结论，而是不会先问一句：我现在到底在处理一个什么法律问题？

这就是评价法律 AI 的第一条标准：看它有没有问题识别能力，而不是看它有没有马上给答案，马上给答案，很多时候不是专业，是勇敢。法律行业里，勇敢通常不是什么优点。

三年前，我第一次看到chatlaw产品的时候，最吸引我的就是它的反问补全机制，三年过去了，其实蛮遗憾这点并没有被后面的法律AI所吸收和发展。但这个是法律人与用户交互时，最重要的部分。

低质量法律 AI 会堆资料，高质量法律 AI 有法律脑回路

我认识一些纯技术流的团队做法律 AI，是因为法律领域文本比例足够高，特别适合大模型发挥实力，法规库、案例库、实务书、公众号文章、内部模板，全塞进去。然后接一个问答界面，就可以宣布：我们有法律知识库。

这当然有用，但这离法律能力还差一大截。

法律不是资料堆，法律是一套处理资料的结构。一个真正懂劳动法的人，脑子里不是存了几本书，而是形成了一套结构：劳动关系怎么认定，解除路径怎么判断，经济补偿怎么算，竞业限制怎么处理，证据怎么对应，地方口径有什么差异。

真正有价值的法律 AI，要能识别法律关系，定位请求权基础，拆出构成要件，把事实和证据对应进去，再判断规则有没有例外、地方有没有特殊口径，最后才进入结论。这个过程才像法律人的脑回路。

法考题和很多标注数据的问题，也在这里。

法考题至少还有命题人、审核人和相对稳定的标准答案。现在不少大厂和法律 AI 公司找法学生、实习生、初年级律师做标注，本质上还是考试型法律知识的延伸，甚至有时候还不如法考题。

因为法考题是经过设计的题，很多标注数据只是一个初级法律人写出的“看起来像标准答案”的东西。这种数据可以训练出一个很像律师的模型，但很难训练出一个真正能交付的模型。

真实业务里的好答案，不只是“这条法怎么规定”，还要判断事实还缺什么、证据够不够、风险值不值得管、建议能不能执行、结论说出去谁负责。

所以评价法律 AI 的第二条标准是：看它有没有法律思维结构，而不是看它资料库有多大。

法律AI要补的课程，可能不是在法条案例库里面的民法、刑法、公司法这种显性部门法，而是法理学、法律逻辑、文书写作这种只有回到法学院课堂上才能学到的“法律思维Know-How课”。有点遗憾的是，国内大部分的法律人这门课也是不合格的。

最会表演专业的法律 AI，通常都在审合同

合同审查是法律 AI 最容易表演专业的地方。

你上传一份合同，它一定能给你找出问题。这个条款表述不够明确，那个违约责任需要完善，这里建议补充保密义务，那里建议增加争议解决条款。再补一个不可抗力，再补一个通知送达，再补一个知识产权归属，再补一个陈述与保证。

看起来非常“专业”。但很多时候，这种“专业”特别像一个刻板的非诉律师在表演。

不是说所有非诉律师都这样，但大家应该都见过这种工作方式：不太考虑交易能不能成，不太考虑对方会不会接受，也不太考虑这个风险发生概率有多大。反正我把能想到的风险都列出来。我写得越多，我越专业。你不采纳，是你的事。

这种工作方式在某些场景里当然有些价值。比如重大交易、资本市场、高风险项目，客户有足够的判断能力，律师确实应该把风险充分揭示出来。但如果把它做成法律 AI 的默认模式，就会很烦。

因为合同审查最难的地方，从来不是找毛病。说难听点，只要脸皮够厚，任何合同都能找出问题。

真正值钱的是判断：哪些是底线，不能碰；哪些只是商业尺度，可以谈也可以不谈；哪些风险看起来吓人，但发生概率很低；哪些条款看起来普通，真出事会很痛。

很多 AI 合同审查产品的问题，是把“能挑毛病”当成“专业”。但法律服务真正的专业，恰恰是知道哪些毛病不用挑。所以一个好的法律 AI，不能只有“生成意见”的能力，还要有“筛选意见”的能力。它不能只负责把风险倒出来，还要负责判断哪些风险值得拿出来，哪些风险应该压掉。否则它就是一个很勤奋的实习生。

勤奋是真勤奋，烦也是真烦。

评价法律 AI 的第三条标准是：看它会不会筛选风险，而不是看它能不能列出一堆风险。

能列 30 条风险，不稀奇。能告诉客户最该管哪 3 条，才值钱。

高质量法律 AI，最后要提高交付价值

说到底，无论用户是专业律师还是非专业当事人，法律 AI 的质量标准只有一个终点：有没有提高交付价值。

交付价值不是写得长，不是说得满，不是看起来专业，也不是引用很多法条。交付价值是用户看完以后知道：我现在处在什么法律关系里，我还缺哪些事实和证据，这件事最大的风险是什么，哪些问题其实不重要，下一步应该干什么，要不要找律师，如果要找，应该找什么样的律师。

这件事里，有些通用大模型已经做得很好了。总结长文档、提取关键信息、改写法律文本、生成初稿、把法律语言翻译成白话，这些能力已经足够有用。没必要神化，也没必要装看不见。

但垂直法律 AI 真正要继续做深的，是另外一些东西。

比如法律问题识别。用户说的是大白话，系统要拆成法律问题，这一步错了，后面全错。比如请求权基础和要件结构。尤其是诉讼类、争议类问题，必须知道自己到底在主张什么。比如风险分层。底线风险、一般风险、商业尺度、低概率风险，不能混在一起吓人。比如地方口径和实务经验。劳动法、公司法、执行、窗口事项，很多差别就藏在这些不太体面的细节里。

还有上一篇反复提到的——人机分工。

有些问题 AI 可以直接答，有些问题 AI 只能整理材料，有些问题必须转律师，有些问题应该明确告诉用户“不适合自动回答”。这不是模型参数问题，这是产品交付问题。

真正好用的法律 AI，应该能完成这样一件事：把用户混乱的问题接住，拆出法律结构，补问关键事实，识别证据缺口，分层提示风险，给出下一步行动，并在自己不该回答的时候，老老实实把人叫过来。

这才叫好用。

不是更像律师，而是更像一个靠谱的法律工作流。

客户买的不是漂亮回答

现在的大模型已经很会说了。它能说得有条有理，能说得像个律师，能说得让外行觉得很厉害，甚至能把一段废话说得非常庄严。

但法律服务不是脱口秀。法律服务需要的是问题结构、事实判断、规则适用、风险分层、行动建议，以及边界感。

所以，法律 AI 的质量标准，不是看它像不像律师，而是看它能不能交付。能不能把一个混乱的问题变清楚，能不能把一堆材料变成判断，能不能把漂亮话变成下一步，能不能在该闭嘴的时候闭嘴，在该找人的时候找人。

客户真正想买的，是一句话：这事我知道该怎么办了。

— END —

我的法律产品系列文章：