新致软件在 IEEE Access 发表中文法律大模型评测研究论文

Newtouch-LawBench 以认知分层与专家校准推进法律 AI 能力诊断。

论文链接：https://ieeexplore.ieee.org/document/11683426

「点击文章底部『阅读原文』，即可查看」

上海新致软件股份有限公司完成的论文《Diagnosing Chinese Legal LLMs Across Memorization,Understanding,and Application:The Newtouch-LawBench Benchmark》发表于国际学术期刊 IEEE Access。研究面向中文成文法场景，提出法律大模型诊断性评测基准 Newtouch-LawBench，将认知分层、任务级能力分析与专家校准评价纳入统一研究框架。

该基准覆盖 3 个认知层级、10 项核心任务和 7,673 条标注样本，并通过 14 个代表性大语言模型的系统实验，刻画模型在知识召回、文本理解、规则应用与法律生成等任务中的能力差异，为法律 AI 的专业评价与研发优化提供实证依据。

既有研究已将法律能力组织为记忆、理解和应用三个认知层级，为中文法律评测奠定基础。

 在此基础上，面向专业应用的评测仍需进一步处理三个问题。

Newtouch-LawBench 围绕上述问题，将法律实践要求落实为任务定义、质量维度和聚合规则。其诊断性主要体现在跨任务能力画像及薄弱环节识别，而非对模型内部认知机制的直接测量。

Newtouch-LawBench 的结果为模型研发与专业应用提出了以下方向。相关应用效果仍需在实际系统与业务数据中验证。

模型选型需要首先明确业务涉及哪些法律任务。例如，文书结构化侧重字段提取与依据识别，法律咨询侧重事实核验与依据支持，合同生成侧重必要条款与风险分配。围绕具体任务组合建立评价集，有助于将模型能力与业务需求对应起来，减少仅依据综合排名进行决策的局限。

法条复述结果提示，法律知识的精确调用值得作为独立环节验证。对于检索增强生成（RAG），需要检查检索材料的权威性、版本和适用语境，同时评价材料是否实际支持生成结论。已有法律检索研究对答案正确性和依据支持性的区分，为此提供了方法参照。

ECLQS 的启示在于，将法律专家关注的质量要求转化为可记录、可分析的评价维度。对于合同起草，可以围绕必要条款、条款一致性和风险分配建立专项检查；对于咨询答复，可以结合内容覆盖、引用依据和风险提示开展复核。维度化评价有助于定位问题，但高分本身不等于法律正确性或合同可直接使用的保证。

随着模型版本、法律规范和业务数据变化，专业应用需要保留任务级测试与回测记录，并将自动评分与法律人员复核相结合。最高人民法院《关于规范和加强人工智能司法应用的意见》提出辅助审判、透明可信等原则，要求相关环节能够接受可解释、可测试、可验证的审查评估。在司法辅助场景中，可复核的能力证据应与明确的专业责任共同构成应用基础。