夜雨聆风学习资料网

ARTICLE · 1207314

AI 能自己推进任务,但什么时候应该停下来?

AI 能自己推进任务,但什么时候应该停下来?

AI 能自己推进任务,但什么时候应该停下来?

当 Agent 已经具备多步骤执行能力,法律专业工作的自主边界应该怎样设计?

律构实验室 06|第二季 · 律师的 Skill 与 Agent

上一篇,我讨论了法律 AI 能力之间的数据衔接问题。

一项 Skill 生成的工作成果,怎样才能被下一项任务可靠地使用?

其中一个重要判断是:

不同能力之间,需要传递的不只是信息,还有信息的来源、处理状态及专业使用边界。

但当这些数据和接口逐渐明确以后,问题还需要进一步向前推进。

现在的 Codex、WorkBuddy 等 Agent,已经能够围绕既定目标,读取材料、调用工具、执行程序,并在多步骤任务中自行安排和推进工作。

对于许多任务,使用者不必事先逐项规定每个执行步骤。

这无疑扩大了 AI 可以承担的工作范围。

但在法律专业场景下,一个新的问题也随之出现:

当 Agent 能够自主决定下一步怎样做时,我们究竟应该让它自主到什么程度?

例如,在整理案件材料时发现文件无法读取,它是否可以自行尝试其他处理方式?

发现原始材料之间存在矛盾,是否可以继续开展后续分析?

如果某项重要事实尚未核实,它应该暂停全部工作,还是可以先形成不同假设下的分析结果?

进一步涉及诉讼策略、法律主张或者对外提交文件时,又应当在什么节点取得律师确认?

这些问题并不只是要求 AI"更加谨慎"。

它们实际上涉及 Agent 的任务规划、执行条件、异常处理和权限控制。

对于法律 AI 而言,能够自主推进任务是一种能力;能够正确识别自主执行的边界,则是另一种需要专门设计的能力。

一、Agent 能够决定下一步怎么做,不等于能够决定所有事情

传统的自动化程序,通常按照预先确定的流程执行。

输入符合某种条件,就执行相应操作;遇到预设之外的情况,则按照已有规则处理或者停止。

Agent 的工作方式有所不同。

它能够根据任务目标、当前信息和工具执行结果,动态调整处理步骤。

例如,一份合同无法直接提取文字,它可以尝试检查文件格式,判断是否需要进行 OCR;发现引用的附件没有提供,也可以继续检索现有材料,并将缺失部分列为待核事项。

这意味着,很多过去需要预先设计具体步骤的工作,现在可以由 Agent 在任务执行过程中自行组织。

但这里需要区分两种不同的决定。

一种是执行层面的决定。

例如使用什么工具、先读取哪些文件、如何处理格式转换、是否重新执行某个校验程序。

另一种是专业层面的决定。

例如在存在不同证据解释时,最终采用哪一种事实主张;在多种诉讼方案之间如何取舍;某项未经充分核实的内容是否进入正式法律文书。

前者可以在明确授权和技术约束下交给 Agent 自主处理。

后者则不能仅因为 Agent 具备规划和推理能力,就当然由其最终决定。

需要强调的是,这并不意味着 Agent 不能参与专业判断。

恰恰相反,Agent 完全可以协助比较不同解释、分析可能的法律后果,甚至提出具体的诉讼方案。

但能够形成专业分析,与取得最终决策权限,是两个不同的问题。

技术系统可以具备很强的分析能力,同时仍然需要明确的执行权限。

对于法律工作,Agent 的自主范围不应只由模型能够完成什么来决定,还应当结合任务授权、材料状态和具体操作可能产生的后果进行设计。

二、真正复杂的,不是让 Agent 停下来,而是判断什么情况下应该继续

可以继续使用我公开的「律构·案件事实梳理」虚构案卷作为例子。

其中涉及一笔200万元回款。

不同材料对于这笔款项的性质存在不同记载和解释。

假设 Agent 正在围绕这笔款项开展后续分析。

在执行过程中,可能遇到几种不同情况。

第一种情况:某份相关材料暂时无法读取。

例如,文件损坏、扫描质量较差,或者某个附件尚未提供。

此时,Agent 可以在现有权限和技术条件允许的范围内尝试重新提取、检查其他副本,或者通过已有材料寻找关联信息。

如果仍然无法读取,应当记录具体缺口。

但这不意味着必须立即暂停整个案件的全部工作。

对于不依赖这份材料的其他事项,仍然可以继续处理。

第二种情况:引用关系出现错误。

例如,分析结果引用的某个事实编号不存在,或者引用无法定位到相应材料。

这类问题首先涉及数据完整性。

如果程序可以明确识别错误,就应当先修复或重新生成相应关联。

在引用问题解决之前,不宜将依赖该引用的分析结果标记为已经通过检查。

第三种情况:材料存在不同解释。

例如,同一笔200万元款项,有材料涉及支付事实,也有材料将其解释为分红、往来款或者本金扣减。

这里的分歧并不必然意味着 Agent 无法继续工作。

如果任务只是要求整理不同说法及其依据,它完全可以继续分析,并明确列出相互竞争的解释。

如果律师要求分别分析不同事实假设下的法律后果,Agent 也可以在清楚标明假设条件的基础上继续完成。

真正不应发生的是:

在缺少必要依据或授权的情况下,Agent 为了让任务顺利向前推进,自行将某一种存在争议的解释确定为最终事实。

第四种情况:执行结果需要进入正式诉讼活动。

例如,将分析成果转化为准备向法院提交的诉讼文书,或者根据某项方案对外作出具有实质影响的表示。

AI 可以协助起草、检查和修改相关内容。

但对外提交、最终采用何种事实主张或诉讼方案,涉及明确的专业责任和授权边界,需要设置相应的确认条件。

由此可以发现:

并不是所有异常都要求停止,也不是所有不确定性都妨碍继续分析。

有些问题可以自动修复。

有些问题需要保留限制条件后继续处理。

有些问题只会阻断特定任务分支。

还有些决定,则需要在执行具有实质后果的操作之前取得确认。

这意味着,法律 Agent 的执行控制不应当只设置一个笼统的"继续或停止"开关。

它需要根据问题性质,选择不同的处理方式。

三、我更倾向于把 Agent 的执行控制分为四类

如果从工程实现的角度进一步抽象,可以把法律 Agent 的任务处理设计为四类动作。

第一,继续执行。

当任务输入满足要求、操作处于授权范围内,且没有触发影响当前步骤的阻断条件时,Agent 可以继续工作。

例如,按照指定范围读取材料、调用既有 Skill、生成内部分析草稿,或者在不改变原始记录的前提下建立新的关联。

第二,重新核查。

当出现可以通过工具或数据检查进一步解决的问题时,允许 Agent 在限定范围内自行修复。

例如,重新检查引用关系、重新提取某份文件、核实版本是否一致,或者重新执行格式校验。

这种重新核查应当有明确范围,避免无限重试,也不能通过绕过权限限制来实现。

第三,局部受阻。

当某项操作依赖的关键材料缺失,或者必要的前置条件不满足时,应当暂停受影响的工作。

但对于与该问题没有依赖关系的部分,可以根据任务要求继续执行。

例如,一份录音尚未完成可靠转写,不代表整套合同和银行记录都不能继续整理。

同样,某项事实暂时无法核实,也不意味着不能先形成明确标注为假设性或阶段性的分析成果。

第四,请求专业确认。

当下一步操作涉及需要律师决定的专业取舍、实质性修改已确认记录,或者执行超出既有授权的外部操作时,Agent 应当请求相应确认。

这四类动作并不是彼此完全独立的任务状态,也不需要机械地为所有法律工作建立同一套状态机。

它们首先是一种执行控制的设计思路。

在具体系统中,可以进一步明确每项任务的完成条件、异常类别和允许采取的后续动作。

这里有一个容易忽视的技术细节。

任务执行状态,与法律专业复核状态,也应当分开管理。

例如,一个事实梳理任务可以已经执行完成,但底稿中的部分事实仍然处于"未复核"。

任务完成,只说明约定的处理过程已经结束,并不意味着所有专业结论都已得到确认。

如果将这两类状态混在一起,后续 Agent 就可能根据错误的完成信号继续执行不适当的操作。

四、执行控制不能只依赖一句"请谨慎处理"

从架构设计上看,还有一个值得强调的问题。

如果希望 Agent 在遇到重要事项时停止,最简单的方法,当然是在指令中增加一段要求:

涉及重大问题时,应当取得律师确认。

这样的指令可以表达行为原则,但还不足以构成完整的执行控制机制。

因为"重大问题"如何识别?

哪些操作属于已有授权?

什么情况下允许自动修复?

哪一类检查不通过时必须阻断后续操作?

如果这些条件完全依赖模型临时理解,那么系统虽然表达了控制意图,却缺少可以独立检查的执行依据。

因此,我认为专业 Agent 的控制机制,可以进一步落实到三个层面。

第一,任务开始前明确执行条件。

例如,指定可以读取的材料范围、允许调用的工具、输出目录、是否允许修改原始数据,以及哪些操作需要额外授权。

对于特定任务,还需要明确输入数据应当具备哪些状态。

如果一项分析要求使用经过人工核对的事实,就不应将仅完成模型提取的内容自动视为满足条件。

第二,在执行过程中设置必要的检查节点。

这类检查不应全部依赖模型自己判断。

对于文件是否存在、引用编号是否有效、数据版本是否匹配、输出结构是否合规等能够客观检查的事项,可以通过程序设置明确的校验条件。

对于材料之间的语义冲突、重要事实是否充分核实等问题,则需要结合专业评价规则和人工复核机制。

这里应当区分程序能够证明什么,以及模型和律师仍然需要判断什么。

第三,对不同操作设置相应的权限边界。

例如,允许 Agent 读取案件材料,并不当然意味着允许它修改已确认的事实底稿。

允许 Agent 生成法律文书草稿,也不意味着已经授权其对外发送或者提交该文书。

在技术实现上,这些限制可以结合工作目录权限、工具调用控制、版本保护、检查程序和人工审批机制落实。

不同平台提供的具体权限能力存在差异,但不能把所有控制都寄托在一句自然语言指令上。

其中一个重要原则是:

能够通过执行环境和程序强制约束的事项,不宜只依赖模型自行遵守。

这也是 Agent 的工程设计与单纯编写任务提示之间,一个值得认真区分的地方。

五、人工确认也需要设计,而不是遇到问题就交给律师

讨论 Agent 的执行边界,很容易得出一个简单结论:

重要事项由律师确认。

但如果进一步考虑实际使用,这个结论还不够。

因为法律工作中存在大量需要核实的信息。

如果 Agent 每读取一份材料、每识别一项事实、每遇到一种不同解释,都要求律师确认,那么多步骤自主执行的价值就会明显降低。

反过来,如果为了追求自动化程度,让 Agent 自行消化所有不确定性,又可能导致专业判断被无声替代。

所以,人工介入不应该被理解为一种笼统的安全措施。

它应当是一种有触发条件、有确认对象、有后续执行规则的工作机制。

例如,在事实整理阶段,某份材料暂时无法读取,Agent 可以先记录缺口并继续处理其他材料,不一定需要立即请求律师确认。

但是,如果下一步准备依据这份尚未核实的材料作出关键事实判断,就需要重新评价能否继续。

同样,律师已经明确要求比较两种事实假设下的法律后果,Agent 可以先形成两套分析方案,无须在每个推理步骤中反复请求授权。

但如果需要从中选择一套作为正式诉讼主张,就属于不同性质的工作。

这时,确认对象不应该只是一个简单的"是否继续"。

更合理的方式,是向律师提供足够明确的决策信息:

当前准备执行什么操作?

该操作依据哪些材料和已经形成的分析?

存在哪些尚未解决的重要问题?

如果继续执行,可能改变什么工作成果或者产生什么后果?

律师需要确认的究竟是哪一项具体决定?

这样,人工确认才是针对关键专业事项的决策,而不是要求律师替 Agent 完成本应由它自行处理的普通操作。

从系统设计上讲,人工介入的价值也不在于出现得越频繁越好。

而在于将有限的专业注意力集中到确实需要律师承担判断和责任的节点。

六、Agent 的完成标准,不应该只有"任务已经执行完毕"

最后,还需要讨论一个经常被忽略的问题。

当 Agent 连续执行多项任务时,我们究竟应该如何认定一项工作已经完成?

对于简单任务,生成指定文件,可能就是约定的完成条件。

但对于复杂法律工作,仅仅得到一份输出文件,并不总是足够。

例如,「律构·案件事实梳理」已经可以对材料清点、模型阅读、原文引用、未复核事实和未关闭问题等情况进行检查。

这些信息有助于区分:

哪些工作已经完成;

哪些材料仍然存在读取缺口;

哪些事实尚未经过人工核对;

哪些问题需要在后续阶段继续处理。

这种区分对于单项 Skill 已经很重要。

当多个任务开始由 Agent 连续组织时,还需要进一步记录每项任务所依据的输入版本、执行结果、失败原因及后续待办条件。

例如,某项证据支持关系分析已经生成,但依赖的事实底稿仍然存在关键待核事项。

系统可以记录:

分析任务已完成阶段性处理,但相关结论仍受特定材料缺口限制。

后续是否能够进入正式文书构建,应当根据任务要求和这些限制进一步判断,而不是仅凭"分析文件已生成"就默认所有前置条件均已满足。

这里其实可以建立一个更重要的区分:

执行完成,不等于质量检查通过;质量检查通过,也不当然意味着专业结论已经获准采用。

对于连续运行的法律 Agent,这三者分别对应不同的控制问题。

执行完成关注任务有没有按照要求运行。

质量检查关注成果是否满足相应的校验条件。

专业确认则关注需要律师决定的事项,是否已经经过必要的核查与授权。

并不是每个任务都必须经过全部三个层次才能产生使用价值。

例如,一份内部初步研究报告可以在明确标注限制的情况下作为阶段性成果交付。

但如果一项后续操作明确要求已核实的关键事实或者律师批准的诉讼方案,就不应通过一个笼统的"任务完成"状态绕过这些条件。

因此,真正值得设计的,不只是 Agent 能否不断执行新的步骤。

还包括:

每一项任务完成到什么程度,具备什么条件,能够合法、合理地触发哪一种后续操作。

这也是法律 AI 从单项能力调用进一步进入任务编排时,需要考虑的工程基础。

律构·思

从第一季的律师 AI 工作流,到第二季讨论 Skill 与 Agent,我一直关注的,并不是如何让 AI 代替律师完成越来越多的工作。

而是如何让 AI 的能力,与法律专业工作的要求形成更加合理的分工。

当模型能够处理复杂材料,律师需要考虑的是哪些专业规则值得沉淀。

当 Skill 能够运行,下一步需要考虑的是如何评价它的可靠性。

当不同能力能够交换数据,还需要进一步考虑信息的来源、状态和使用边界。

而当 Agent 已经能够围绕目标自主推进多步骤任务时,研究重点就进一步转向:

哪些决定可以由 Agent 在授权范围内自主作出,哪些操作应当受到确定性约束,哪些专业事项必须保留律师的最终决定权。

这并不意味着法律 Agent 必须处处受限。

恰恰相反。

对于能够明确验证、风险可控、处于既定授权范围内的操作,应当尽可能发挥 Agent 的自主执行能力。

对于无法确定、需要进一步核查的事项,应当允许它保留问题,并在适当范围内继续处理。

对于涉及专业责任、重要事实取舍或者对外产生实质影响的决定,则应当建立相应的确认机制。

真正成熟的法律 Agent,不只是能够知道下一步可以做什么,还应当能够按照明确的控制规则,判断下一步是否具备执行条件。

它的价值不应仅仅通过连续完成多少步骤来衡量。

也应该体现在面对异常、不确定性和权限边界时,能否采取适当的处理方式。

对于法律 AI 能力工程而言,这意味着下一阶段的研究,不必急于创造更多 Agent。

更值得完善的,是已有 Agent 可以使用的专业能力、数据接口、质量检查和执行控制。

当这些机制逐渐明确以后,一个更长期的问题也就随之出现:

如果案件不断补充材料、事实持续更新,Agent 如何识别哪些已经完成的工作需要重新核查,哪些结果仍然可以继续使用?

这已经进一步涉及任务依赖、变更影响与持续维护。

也是法律 AI 从一次性任务执行,走向长期案件工作支持,需要继续研究的方向。

项目与延伸阅读

律构·案件事实梳理|项目展示

https://zc6503204-collab.github.io/lugou-case-fact-workbench/

GitHub|lugou-case-fact-workbench

https://github.com/zc6503204-collab/lugou-case-fact-workbench

本文讨论法律 Agent 的任务组织与执行控制设计。现有项目已具备事实整理、数据校验、人工复核与增量更新等机制;跨专业任务的统一执行状态、审批节点及自动编排仍属于进一步的工程设计方向。

相关学习资料