法律AI靠谱吗?| 服务商宣传存在夸大,AI法律工具仍有17%至33%概率产生幻觉

大语言模型有望执行复杂的法律任务，但其应用仍受制于一个关键缺陷：它们倾向于生成错误或误导性信息——这一现象通常被称为“幻觉”（hallucination）。

近期，LexisNexis和汤森路透（Westlaw母公司）等法律科技企业声称，通过使用检索增强生成（RAG）等先进技术，基本可防范法律研究任务中的“幻觉”问题。但这些宣传均缺乏实证依据，且“幻觉”一词在营销材料中往往未被明确定义，导致公众对这些工具实际缓解的风险产生混淆。因此，本研究旨在通过评估LexisNexis（Lexis+ AI）和汤森路透（Westlaw AI辅助研究及 Ask Practical Law AI）提供的人工智能法律研究工具（并以GPT-4作为对照）的性能，来填补这些空白。

在法律场景中，模型产生幻觉主要有三种表现：背离训练数据、背离提示输入、背离客观事实。作者关注旨在帮助律师理解法律事实的研究工具，故聚焦于第三种类型：事实性幻觉（factual hallucinations）（译者注：在法律领域中，事实性幻觉是指模型输出与客观事实或法律相悖的内容的一种现象）。

在诸多领域，RAG被视为并大力推广为使LLM在特定领域有效运行的关键技术。它允许通用型LLM有效利用企业或领域特定数据，并通过直接提取检索文本生成更详细准确的回答。特别是在法律领域中，RAG 常被视为解决“幻觉”问题的方案。

FIGURE 3展示了RAG将查询转化为响应的过程：

RAG 将查询转化为响应主要包含两个步骤：（1）检索（retrieval）；（2）生成（generation）。检索是从海量文档中筛选相关文件的过程，搜索引擎通过关键词、用户信息和其他上下文，从互联网数百万网页中快速定位少量相关页面。获取检索文档后，生成步骤将这些文档与原始查询文本一同提供给LLM，使其结合两者生成回答。许多RAG系统会对输入输出进行额外预处理和后处理，但检索和生成是RAG的核心特征。

但RAG难以完全解决法律领域的幻觉问题：

首先，法律检索极具挑战性。法律查询往往不存在单一明确的答案。在普通法法系中，判例法由法官逐年撰写的裁判文书形成，先例如同接龙小说般逐案层累。这些法律文书并非原子事实（atomic facts。译者注：原子事实指世界中最简单、不可再分的事实单元）；甚至有观点认为，法律是一种“本质上争议的概念”（essentially contested concept。译者注：本质上争议的概念是指因概念内涵具有开放性、价值负载性，不同理论流派难以达成共识的基础性概念，如“正义”“权利”等）。因此，在法律场景中判断检索内容极具难度：理想情况下，RAG需跨时间和地域从多源信息中定位内容，以恰当地回答查询。而在最坏的情况下，若问题新颖或存在不确定性，可能没有任何可用文档能明确回答该查询。

其次，法律场景中的文档相关性不止于文本层面。多数检索系统基于文本相似度识别相关文档，但仅因文本相似而实际无关的干扰性文档会对通用问答任务性能产生负面影响。此类问题在法律领域可能更复杂：不同法域、不同时期的适用规则或相关判例可能存在差异，即便是在同一时空下表述相似的文本，若未满足特殊条件也可能不适用。若特殊条件下的规则与普遍适用规则冲突，问题会更严重——LLM可能接受过更多支持普遍规则的文本训练，因而更忠实于训练数据而非检索语境。因此，设计高质量研究工具需审慎处理检索中的非文本要素，并使模型尊重不同信息源的权威性。

最后，生成有意义的法律文本绝非易事。法律文书通常面向熟悉同一议题的专业群体，且需依赖大量背景知识才能正确理解和适用。有效的生成式法律研究工具不能仅做简单文档摘要，而需综合不同文本中的事实、裁判要点和规则，同时兼顾法律语境。

作者从两个核心维度分析了法律幻觉：正确性（Correctness）与依据性（Groundedness）。正确性指工具响应的事实准确性，依据性指模型响应与所引来源的关联性。

（一）正确性

1. 若响应既事实准确又与查询相关，则视为“正确”（correct）；

2. 若包含任何事实性错误信息，则视为“错误”（incorrect）；

3. 若模型直接拒绝响应，则标记为“拒绝回答”（refusal）。

三种分类的示例见TABLE 1上半部分（红框部分）。

（二）依据性

对于正确的响应，作者进一步评估其依据性：

1. 有依据（grounded）：响应中的关键事实主张有效引用了相关法律；

2. 依据错误（misgrounded）：关键事实主张虽引用了来源，但曲解了内容或援引了不适用的法律。

3. 无依据（ungrounded）：关键事实主张未引用任何来源。

依据性分类的示例见TABLE 1下半部分（红框部分）。

基于上述维度，作者对幻觉作如下界定：若响应存在错误（incorrect）或依据错误（misgrounded），即构成幻觉。质言之，模型作出虚假陈述或虚假声称某来源支持其某陈述的行为，均属于幻觉。

（三）准确性与完整性

除幻觉外，作者还基于正确性与依据性维度定义了另外两类标签：

1. 准确响应（accurate responses）：即正确且有依据的回答；

2. 不完整响应（incomplete responses）：包括拒绝回答和无依据的回答。

作者研究了三款基于RAG的法律AI工具的幻觉率和响应质量：LexisNexis 的Lexis+ AI、汤森路透的Ask Practical Law AI和Westlaw的AI辅助研究（AI-AR）。同时，作者还评估了GPT-4的幻觉率和响应质量。

（一）查询构建

作者设计了一组多样化的法律查询，以考察法律RAG系统性能的不同维度。该基准数据集旨在模拟真实法律研究场景。

为便于解读，作者将查询分为四大类：

1. 一般性法律研究问题（General legal research questions）：含普通法教义问题、裁判要点问题和律师资格考试问题。此类查询包含具有可靠答案的律师资格考试问题，旨在评估完整生成响应中的幻觉。

2. 法域或时间特定问题（Jurisdiction or time-specific questions）：含关于巡回法院分歧、被撤销的判例或法律新发展的问题。

3. 虚假前提问题（False premise questions）：即用户对法律存在误解的问题。该查询旨在考察LLM是否倾向于假定查询前提为真（即便前提明显错误）。

4. 事实复述问题（Factual recall questions）：即关于案件事实（无需解释）的查询，如裁判文书作者和法律引用事项。该查询旨在考察RAG能在多大程度上克服通用LLM在编码法律知识方面的已知缺陷。

TABLE 2 描述了这些类别，并为每类提供了一个示例问题：

（二）查询执行

对于Lexis+ AI、汤森路透的Ask Practical Law AI和Westlaw的AI-AR，作者通过将查询复制粘贴到各产品的聊天窗口中执行。对于GPT-4，作者通过 OpenAI API（模型gpt-4-turbo-2024-04-09）向LLM发送以下指令（后附查询）：

“你是一个协助回答法律问题的助手。除非绝对必要，否则不要含糊其词，务必精确回答问题并引用判例法支持主张。”

（三）评分者间信度（Inter-Rater Reliability）

作者根据上述关于幻觉的定义对每个模型响应进行了评分，并评估了数据集中不同评分者的评分者间信度。结果表明，评分者与初始评分在最终结果标签上的科恩卡帕系数（Cohen's kappa）为0.77，评分者间一致性为85.4%，表明任务和标签分类体系定义良好。

（一）幻觉在各类查询中普遍存在

结果表明，在作者的查询中，有超过六分之一的问题导致Lexis+ AI和Ask Practical Law AI作出误导性或虚假信息回应。Westlaw的幻觉率显著更高——其回应中有三分之一包含幻觉。

FIGURE 4左栏按产品细分了响应类型。结果表明，Lexis+ AI、Westlaw AI-AR和Ask Practical Law AI的查询准确率（即正确且有依据）分别为65%、41%和19%，不完整回答率分别为18%、25%和62%。

 FIGURE 4右栏展示了响应时的幻觉率，表明即使在有回应的情况下，Lexis+ AI的幻觉率在统计上也显著低于Westlaw AI-AR和Ask Practical Law AI。

FIGURE 5按查询类型细分了这些统计数据。结果表明，法域和时效性问题的幻觉率略高，一般性法律研究问题的幻觉率居高不下，虚假前提问题的准确率最高。

（二）幻觉可能具有隐蔽性

具体表现为：

1. 误解裁判要点。系统似乎无法始终如一地识别案件的裁判要点。这是一个严重的问题，因为法律研究的核心在于区分裁判要点与案件的其他部分。

2. 混淆法律主体。系统可能无法区分诉讼当事人的主张与法院的裁判表述。如某产品在一个案例中将被告的主张错误归为法院的立场。

3. 忽视法律渊源层级。所有模型均难以理解法律渊源的层级体系。

4. 虚构内容。系统偶尔会生成与检索文档无关或严重偏离的内容，如虚构不存在的法律条款。

（三）法律RAG错误的类型学

1. 简单检索错误。三个产品的许多幻觉源于检索质量低下——未能找到解决用户查询最相关的可用来源。如当被要求定义某法律概念时，某产品依赖一个看似相似但实际无关的法律术语进行定义。

2. 援引不适用的法律渊源。当模型援引或讨论不适用于查询事项的法律渊源时，即构成该错误，具体原因可能包括法域错误、成文法错误、法院错误或渊源已被废止。

3. 附和倾向（sycophancy）。即，即使用户错误，系统也倾向于认同用户。

4. 推理错误。即，即使检索结果相关且有用，也未必总能通过文本推理得出正确结论。

本研究表明，用于法律研究的AI工具并未消除幻觉。这些工具的使用者必须继续验证关键问题是否有准确的引用支持。同时，法律领域的AI工具需要严格、透明的基准测试和公开评估。供应商主导的基准测试工作虽然方向正确，但远远不够。此外，尽管与传统的关键词搜索方法和通用AI系统相比，法律AI工具能为法律研究者提供相当大的价值，尤其是在用于法律研究的第一步而非用于做最终结论时。但在供应商提供确凿的可靠性证据之前，宣称法律AI工具无幻觉的说法至多是毫无根据的。