乐于分享
好东西不私藏

关于AI捏造法条、编造案例的一些思考

关于AI捏造法条、编造案例的一些思考

近两年,回复很多当事人发来的AI检索问题,已经成为了工作的一部分,而且要对AI回答进行证伪存在很大难度,这倒不是因为AI回复问题有多么正确,恰恰相反,在稍微复杂一些的问题上,AI存在不严谨、漏洞的概率非常高,但AI程序设置为“有问必答”,在一定要给出一个答案的前提下,其回复煞有介事,为了论证其观点,甚至还自行伪造法条、编造案例,下面这个新闻想必很多人都看到过:

对于AI回复中所列举的案例,因为“主动”打码,检索起来十分困难,最终基本80%以上的案例在公开渠道无法查询到,我们知道AI工作原理,也是在检索基础上针对提出问题进行筛选、排列组合,但其严重缺乏细节把控能力。这种“幻觉式输出”在法律场景中尤为危险——当AI将虚构判例包装成权威依据,律师可能误引、法官可能误信、当事人可能误判。

据了解,多地律协已启动AI法律工具使用规范调研,明确人工复核不可替代。法律不是概率游戏,而是由证据链、逻辑链与价值链共同衔接的系统。这种“幻觉”并非随机出错,而是有系统性失范的特点:当AI在无法匹配真实判例时,会基于案号格式、法院层级、年份分布等表层特征生成高度仿真的虚假案例,连案号编码规则都刻意模仿,就在笔者写此文时,AI给予的文章提示中,又列举了几个“例子”:

其一,“某律所实习生提交的答辩意见中,竟引用了三个“(2023)京0105民初XXXX号”系列案,经查全部不存在,但案号结构完全合规。”

其二,“某省高院2025年内部通报显示,全年收到的37AI辅助起草的上诉状中,19份含无法验证判例,其中7份被二审法院当庭指出“所引案例查无实据”,直接导致举证失权。”

但笔者对上述2个举例进行检索时,任何公开渠道均无对应新闻报道。但就其表述方式来看,似乎为了保护隐私信息隐去了具体单位名称,但仍用“数字”、“数据”以及特定词汇来形成具有高度“可信”的表述,该表述让检索人内心确信AI使用了检索工具查到了对应信息,所以当事人持类似案例发给律师时,证伪难度是非常大的,并且律师检索不到,当事人还会认为是“检索能力”的问题。

在一些基础数据的检索上,AI还是有一定的辅助作用;当前来看,法律层面的AI只是代替了此前人工检索信息及汇总信息的时间,但其在汇总准确度以及核心判断力上仍存在根本性缺陷:它无法识别法律推理的隐含前提,不能校验裁判要旨与案情的实质契合度,更无法承担司法责任。因此,任何AI生成的判例引用,必须逐案核验原始裁判文书、核实法院官网及权威数据库收录状态,并留存核查路径。

简言之,当前AI可以辅佐导航,但不能无人驾驶。

本文作者:李方剑律师
文章禁止转载
TEL/微信15210289132
更多金融案件法律实务研究: