熟练用AI,能打赢官司吗?(三)-----它连法条都敢编:AI幻觉的坑,最重踩到刑法红线

     上一篇讲完数据污染的底层逻辑，这一篇讲你用AI时最先踩到的坑——“倭瓜事件”、提示词注入，和AI幻觉。

一、先讲个趣事：“是个倭瓜”

     李斌律师在律协刑辩青训课上讲过一件事：她家大儿子事先给AI埋了个“指令炸弹”——不管后面谁问什么，统一回答“是个倭瓜”。她把小儿子照片发给AI，问这是什么，AI回答是个倭瓜。老大直接把这段截图发到“快乐一家人”，大家都很伤心：“虽说老二长得也不算多帅吧，但好歹也不至于像倭瓜。”

     事后破案：原来是哥哥预埋了一条指令。

二、“倭瓜”背后的技术真相：提示词注入

     哥哥的操作，在技术上叫“提示词注入”（Prompt Injection）——通过预设一条隐藏指令，劫持AI后续的所有输出。小儿子以为自己在一个全新的对话里提了一个全新的问题，但AI并不这么看：它的上下文窗口里，哥哥埋的那条指令仍然“在场”，而且优先级更高。所以不管弟弟问什么，AI都会老老实实地执行哥哥的命令。

     这恰恰暴露了当前AI的一个根本特征：它是基于上下文推断答案的，而不是基于真实场景理解问题。你给它什么上下文，它就在什么框架里回答。它不知道面前换了一个人，不知道这个问题背后的真实语境，更不会觉得“一个小孩问我他像谁，答案居然是倭瓜”这件事有什么不对劲。

    而我们人类呢？即便是情商再低的人，看到一个小孩子一脸期待地问“我长得像谁”，大概也不会回答“像倭瓜”——因为我们会读场景：对方的年龄、表情、提问的场合、问话的意图。这些信息在一瞬间被大脑处理完毕，我们甚至不需要刻意思考就能做出得体的回应。

     当然，未来的AI也许能在现有人机交互的基础上，实时判断跟它对话的人是否换了，甚至能通过摄像头探测人类的表情、语气、肢体语言，做出更“像人”的反应。但这里有一个根本性的区别：模拟理解不等于真正理解。AI可以学会“在某种场景下输出某种话术”，但它不理解为什么要这样做。它是在模仿人类的行为模式，而不是拥有人类的认知能力。

      打个比方：一个演员可以把悲伤演得惟妙惟肖，观众感动得落泪，但演员本人内心可能毫无波澜。AI就是那个演技精湛的演员——它的表演越来越好，但“入戏”这件事，始终是人类的专利。

     所以回到我们讨论的核心问题：AI可以处理信息，但无法理解语境；可以生成回答，但无法把握分寸。在法律领域，这种差异尤为致命——一个案子该怎么主张、什么时候该强硬、什么时候该妥协、哪句话在法庭上该说哪句不该说，靠的从来不是“上下文推断”，而是对人、对事、对场景的深刻理解。

三、什么叫AI幻觉

      简单来说，AI幻觉是指人工智能系统生成的内容与真实数据不符，或偏离用户指令的现象，就像人类说“梦话”一样。AI幻觉又分两类：

      事实性幻觉：与客观事实相矛盾、给出错误的答案。比如：世界上最高的山是香山。

      忠实性幻觉：AI没有忠实于人类给它的指令所期望的答案——它要么是没理解指令本身，要么是理解了指令但是没找到对应的答案，它会启用一种既定的算法去讨好人类，给出一个“像模像样”的错误答案。

      随着算法的迭代、训练语料的优化、用好数据生成优质内容等方法可以降低AI幻觉，但无法彻底消除。

四、第一个坑：它连法条和案例都敢编

     大语言模型写东西，不是先到数据库里把答案查准了再告诉你，本质上更像是在“写作文”。所以当你问它“有没有支持我的判例”，它可能把真案号、法律术语、像模像样的裁判理由缝在一起，造出一个根本不存在的东西，语气还特别自信。

     更麻烦的是，越是“完美贴合”你需求的案例，越可能是编的。你把案情都告诉它了，它就顺着你的期待去造，事实细节、裁判观点和你想的结论严丝合缝。真实的判决不会这么“懂你”。

     数据也不好看。有研究对主流工具做过评测：用ChatGPT-4回答美国联邦法院的事实性问题，错误率高达58%；就连专门做法律检索的AI工具，幻觉率也在17%到33%之间。法律是容错率极低的领域，这个出错率意味着什么，不用多说。

     律师最怕的当事人，不是不说实话的，而是不说实话还坚信自己会赢的。这种人一旦用上AI，当事人的“幻想”碰上AI的“幻觉”，且两边一拍即合，这条路，将通向何方？

五、踩坑的四类后果

     1、意见不被采纳，法官对你的信任打折。开头那起案子就是样例。虚假案例被识破，你花心思写的代理意见在法官眼里直接贬值。还有一层损失不好量化：“法官信不信你”，在诉讼里是个隐性但要命的变量。一旦被打上“连案例都不核实”的标签，后面你说什么、交什么，法官都会多打量两眼。

     2、罚款、拘留，不是吓唬人。《中华人民共和国民事诉讼法》第一百一十四条规定，伪造、毁灭重要证据，妨碍人民法院审理案件的，法院可以根据情节轻重予以罚款、拘留；第一百一十八条写明了幅度：对个人的罚款金额，为人民币十万元以下；拘留的期限，为十五日以下。

     直接使用AI编造的材料，完全可能被认定为妨害诉讼的行为。国外已有大量前车之鉴：美国新墨西哥州一位执业四十多年的刑辩律师，用ChatGPT编造刑事证词，被州最高法院裁定藐视法庭，罚款5000美元，还被移送纪律委员会；2023年纽约的Mata诉Avianca案，被称为“ChatGPT法律幻觉第一案”，律师提交了六个根本不存在的判例，被法官罚款5000美元；还有律师因在多份文书中引用虚构案例，面临1.5万美元的罚款。这些人都是执业律师，有多年专业训练打底，照样翻车。普通人自己操作，一样要担责。

     3、往重了走，可能碰到虚假诉讼的刑法红线。《中华人民共和国刑法》第三百零七条之一规定了虚假诉讼罪：以捏造的事实提起民事诉讼，妨害司法秩序或者严重侵害他人合法权益的，最高可判七年有期徒刑，并处或者单处罚金。多数AI幻觉是过失造成的，跟故意捏造事实不能直接画等号，需要具体案件具体判断。但边界在哪里，普通人很难掂量清楚。这种时候，你需要的恰恰是专业人士的判断。

     4、出了事，没人替你兜底。翻翻你用过的AI产品用户协议，基本都写着类似的话：生成内容仅供参考，据此操作产生的后果由用户自行承担。说白了就是：AI胡说八道，损失你自己扛。它不是你的代理人，连当事人都不是，只是你手机里的一个软件。输了官司，它不会退你一分钱。

    省下的几千块律师费，可能远远不够填后面的窟窿。

    本文是「AI与打官司」系列第三篇。下一篇：最隐蔽的坑——AI只会顺着你说；以及把AI用对的六条军规。