一份小众合同,考倒了我常用的几个AI助手最近我做了一次合同审核测试:选一份小众领域合同,向六套AI Agent组合下达完全相同的指令:“我是甲方,请不要使用合同审核skill,直接对合同进行审核,维护我方利益。”测试使用的是一份慈善基金会专项基金发起协议模板。甲方是一家基金会,乙方想与甲方共同发起专项基金。该模板是某机构早年的常用业务模板,脱密后金额、比例及基金用途均以空白替代,还存在条款编号重复(两处“八”、两处“九”)、履行期已过期。任何具备基本审核能力的模型都能从中找出问题。六套组合分别是:ChatGPT Work、Kimi Work加Kimi K3、Autoclaw加GLM 5.2、Workbuddy加Kimi K3、Workbuddy加DeepSeek V4 flash公测版、Claude Code Cli加DeepSeek V4 flash公测版。六套Agent全部发现了表面问题:编号错乱、日期过期、关键金额和比例留白。多数也注意到乙方募集不达标几乎没有违约后果,甲方五个工作日内必须批复付款请示,违约责任没有约定金额或计算方法。部分报告还增设了风险分级、签署清单等模块。只看篇幅和形式,很容易得出“几个模型都审得不错”的结论。我按照合同中实际存在的关键风险逐项评分,每个风险点核对:它是否真实存在,法律判断是否成立。模型引用的法条又通过北大法宝逐条复核。最终得分:ChatGPT 92分,Workbuddy加DeepSeek V4 flash 60分,Claude Code Cli加DeepSeek V4 flash 55分,Workbuddy加Kimi K3 52分,Autoclaw加GLM 5.2 40分,Kimi Work加Kimi K3 29分。要强调的是,这个分数具有极强的随机性,不能被理解成基础模型能力排行榜。一份合同、一次输出,样本量不够;评分标准由被评者之一的GPT提出,肯定有偏差。六套Agent组合的起点也不相同:Kimi Work是我为测试特意下载,未存储工作记忆,也未安装skill;其余Agent已配置我的整套技能插件及记忆文档,知道我是律师,知道我对法律准确性、甲方立场和可操作修改的要求。
一、合同定性是影响各Agent分数的关键问题
六份审核意见收回来,真正拉开差距的不是谁发现的问题更多,而是谁先完成了律师的第一个动作。律师拿到合同,通常不会直接切入条款审查,第一步先判断:它是什么类型的合同,适用哪些法律法规,是不是强监管领域要引入部门规章、行业规范;第二步确定代表哪一方。合同定性和审核立场确定以后,才进入逐条审查。导致分数大差别的原因正是合同定性。专项基金发起协议固然受《民法典》合同编调整,但它不只是一份普通商事合作合同,还受到《慈善法》《公益事业捐赠法》《基金会管理条例》以及大量部门规章关于募捐主体、慈善财产、项目管理、受益人和信息公开等特别规则的约束。只有ChatGPT把“慈善基金会专项基金协议”作为起点,继续追问专项基金的主体地位、乙方的募集权限、管委会和“基金首席代表”的权限、甲方能否把项目交给乙方运营、管理费用和募捐成本如何区分、受益人如何确定以及剩余财产如何处理。Workbuddy加DeepSeek也识别到了慈善属性,论证了乙方不具有公开募捐资格却承担募集职能的合规风险,主动检索了法律条文且引用准确,但没有把慈善的特殊性贯彻到专项基金的法律地位、项目实施和受益人控制中。其余几套Agent,包括我长期使用的Claude Code Cli加DeepSeek,仍按普通商事合作合同的思路审核。它们提出的主要建议是:要求乙方承诺募集金额,未达标则提高违约金;明确管理费比例甚至设置保底;通过甲方掌控账户与审批权确保合同偏向甲方;约定剩余财产由甲方用于其他公益项目。按普通商业合作协议的逻辑,这些判断乍看说得过去。但放在慈善专项基金协议里,有些恰恰可能把合同越改越偏。二、真正的风险是慈善领域的专属风险
第一个问题是“乙方负责募集”究竟意味着什么。这类专项基金的实际运作方式类似非公募基金会,发起方通常只是向关联企业或其他特定主体募捐,并不面向社会公众公开募捐。这个背景起草者知道,但合同里没有写。模型拿到的文本只写了“乙方负责募集”,既没有限定募集对象,也没有限定募集方式,更没有区分乙方协助联系捐赠人与甲方依法开展募捐。合同审核不能替起草者补足对其最有利的预设事实。真正需要关注的是:根据《慈善法》,如果实际募集超出特定对象范围,通过互联网、公开活动或其他方式面向不特定公众发布募捐信息,就可能构成违法公开募捐;若相关组织或个人不具备公开募捐资格,还将面临警告、罚款等行政处罚。第二是专项基金的主体地位。专项基金不是独立法人,其收支和业务活动应当纳入基金会统一管理。合同却约定了一个“基金首席代表”,并写由乙方法定代表人担任,又没有说明这个“首席代表”到底有什么权力。乙方一旦以该身份对外联系捐赠人、签署文件或作出承诺,很容易形成其可以代表专项基金甚至代表甲方的表象。第三是项目实施责任。合同约定乙方负责项目执行,看起来只是双方分工,但甲方不能交给乙方自行运营。甲方可以委托第三人执行具体项目,却仍然需要对项目立项、资金使用、受益人确定和实施情况进行管理、跟踪和监督。若乙方履职不力,甲方不能仅凭一句“项目由乙方负责”就向监管部门、捐赠人和受益人免责。第四个问题是管理费和剩余财产。有的Agent直接建议提高管理费比例,但慈善组织的管理费用、募捐成本和项目支出性质不同,有各自的核算规则和法定限制,不能当作普通商业渠道费处理。这几个问题的识别都依赖一个前提:先把合同识别为基金会的慈善专项基金协议。否则模型就会用普通商事合同的方式理解管理费、募集目标、控制权和剩余财产。它发现的具体问题或许属实,但核心风险仍未纳入考量。最值得警惕的并不是简单的AI幻觉,而是它用非常专业的形式,在错误的方向上继续完善合同。三、法条引用也拉开了差距
法条引用同样很能说明问题。有的Agent给出的具体条文经复核完全准确;有的Agent引用《慈善法》却使用了修法前的旧编号;另有部分Agent未引用慈善领域具体规则,仅笼统提及需核实。不引用法条不算错误,但主动给出准确、现行且真正支持审核意见的规则,确实可以减少律师后续检索核验的时间。反过来,引用错误法条比不引用更危险,它会给错误结论增加一层看似可靠的外观。四、本次测试的结论
这次测试并不能说明以后只能用ChatGPT审合同,而是提醒我:面对监管属性较强、交易结构特殊或相对小众的合同,提示词里最好增加一句:“请先识别合同类型及适用的特别监管规则,再从我方立场逐条审核。”这不是把答案喂给模型,而是要求它先完成律师审核合同的第一个动作。多模型交叉检验仍然有价值。这次几套Agent的遗漏并不完全重合:有的没有发现募捐边界,有的没有发现基金用途空白,有的没有处理付款审批期限,有的漏掉了受益人和关联交易。一个模型先独立审核,另一个专门从对方角度找问题,最后由律师核对原文和现行法律,通常比把判断全部交给某一个模型更稳。实际选择工具时,还要把数据安全单独计算。我日常处理合同主要使用Workbuddy的国内模型线路。境外模型即使本轮表现更好,也要考虑客户信息和合同数据的合规性,以及跨境数据管控规则。审核能力排名和实际可用排名是两回事。真正让我意外的,不是ChatGPT拿了第一,也不是某个新Agent分数最低,而是几份形式完整、措辞专业的审核意见,实际上审的是一份想象中的普通商事合同。下次让AI审核合同,先别急着让它列风险。先要求它回答:这是什么合同,适用什么特别规则。合同定性对了,再继续往下审;定性错了,就不要在原结果上修修补补,直接换一个模型或者重新开始。这次测试只用了一份合同,样本有限。明天我会换一份常见的合同,比如买卖合同,用同样的指令再测一遍。如果合同定性这个分水岭在常见合同里同样成立,那今天这条经验就能留下来;如果常见合同里各家表现接近,说明定性差距主要集中在小众领域。