乐于分享
好东西不私藏

日本《关于AI应用中民事责任解释适用的指南》第1、2章中文译文

日本《关于AI应用中民事责任解释适用的指南》第1、2章中文译文

注:为便于阅读,故略去注释。实际上,全文包含大量有价值的学术信息,可根据需要在原文中自行提取。
第1章 引言
1.1本指南的制定目的

自生成式人工智能问世以来,AI服务在商业领域的应用日益扩大,近年来,搭载AI的物联网产品及机器人等先进系统的开发与社会应用也在不断推进。此外,随着系统日益复杂,对开发和运营所需的大规模高质量数据的需求日益增长,人们也期待通过跨越企业界限的数据共享,创造新的附加值并解决社会问题。

在此背景下,随着AI和数据的深度应用,其对网络空间乃至物理空间的影响日益增强。为此,政府为在降低AI带来的社会风险的同时促进AI创新与应用,制定了《AI企业指南》(2024年4月发布1.0版,2026年3月修订1.2版),并针对合同中应考虑的事项,制定了《关于AI及数据利用的合同指南》(2018年6月发布,2019年12月修订,以下简称“合同指南”)以及《关于AI利用与开发的合同检查清单》(2025年2月发布,以下简称“合同检查清单”)等文件。此外,在AI战略会议·AI制度研究会制定了关于AI制度构想的《中期总结4》(2025年2月)后,《关于推进人工智能相关技术研发及应用的法律》(令和7年法律第53号)于2025年5月正式通过,该法明确了政府作为指挥中枢的功能以及相关方的职责。

纵观各国的应对措施,在欧洲,欧洲议会于2017年1月通过了关于机器人及AI民事责任的《向欧盟委员会提出的关于机器人民法规则的建议》,并于2020年10月通过了《AI民事责任制度》,其中建议将《产品责任指令》(Product Liability Directive)也适用于AI等。此后,2024年12月修订后的《产品责任指令7》生效,该指令将无形物(如软件等)纳入“产品”范畴,因此AI也已纳入产品责任的适用范围。此外,作为针对 AI 的全面事前监管措施,欧盟 AI 法规(AI Act)已于 2024 年 8 月生效;截至本指南撰写之日,关于被禁止的 AI 系统等的规定以及关于通用 AI 模型等的规定已实施,2026年8月将实施关于高风险AI的部分规定,2027年8月则计划全面实施包含高风险AI监管在内的所有规定。另一方面,在美国,加利福尼亚州于2025年9月通过了《前沿人工智能透明度法案》(Transparency in FrontierArtificial Intelligence Act),还出现了针对AI系统偏见以及由自动驾驶引发的交通事故等诉讼,通过实践经验的积累,关于责任归属的讨论正在深入进行。

日本方面,针对AI带来的风险,采取了结合现有法律体系与软法进行应对的方针,并仅针对无法期待经营者自主应对的情况才考虑追加法律监管,因此,当发生与AI相关的损害等情况时,依据现行民事责任规则进行解决被认为至关重要。另一方面,关于风险显现并导致权利侵害或损害发生时的民事责任归属,应如何结合AI的自主性及黑箱特性进行解释和适用,有观点指出,由于缺乏判例积累和统一见解,责任归属不明,这已成为阻碍AI开发和应用的因素之一;在关于AI运营商指南的研讨会上,也有多方意见指出有必要探讨AI开发、提供及使用方面的责任界定。

鉴于上述各国的动向及我国面临的课题,此次召开了关于AI应用中民事责任归属的研究会(以下简称“本研究会”),以AI服务或系统导致事故的基本假设案例为题材,主要从侵权法等角度梳理了解释与适用的论点及思路。本研究会以侵权法为核心研讨课题,并非旨在明确基于合同关系等因素的当事人间严格责任划分。不过,侵权法在合同等明确规则无法适用的情况下,提供了关于各当事人应承担何种责任的基本默认规则。在通过当事人间的合同或指南等进一步明确责任归属时,从侵权法角度提出的见解也可作为考量要素。

本指南汇总了本研究会的讨论成果,以AI应用场景下的侵权法论点为核心,指明现行法律的适用方向,旨在提高AI开发、提供及使用相关当事人的可预测性,从而促进AI的应用并有助于损害发生时的顺利解决。基于上述目的,在对各假设案例的阐释中,不仅着重阐述了哪些要素可能提高或降低当事人的责任风险,还提炼出可作为尽可能广泛案件解决参考的思路,此外,本书试图阐明各种观点成立的前提及适用范围。需要注意的是,针对具体个案,现行法律如何适用的最终判断权属于法院,因此无法保证本书所述观点会被法院直接采纳。然而,通过判例积累来明确法律解释与适用通常需要较长时间。因此,本书希望基于专家的讨论,指出当前尽可能合理的观点以及存在分歧的判断要点,从而成为一种法律解释的雏形,进而有助于新规则的形成。

鉴于本指南的性质,虽然其中包含大量具有高度法律及技术专业性的描述,但主要读者群体涵盖范围广泛,包括从事AI开发、提供及应用的企业,以及旨在解决与AI应用相关纠纷的当事人及律师等。

1.2本指南的适用范围及保留事项

在运用本书时,请注意以下保留事项。

如前文1.1所述,鉴于AI应用场景中的责任认定尚不明确等因素,本书旨在阐明基于现行侵权法进行解释与适用的思路,而非创设新的规则。

本书以编写时的技术动向及法律制度内容为前提,若这些发生变化,上述论述可能不再适用。若因技术动向或法律制度的变化产生必要,本书可能会进行修订。

后记第3章及第4章中针对各假设案例所阐述的观点,均以各案例的事实关系为前提 ,若实际AI服务的功能、使用场景、侵权情形等存 在 差异,则此类讨论可能不再适用。各假设案例仅为梳理基本法律关系而设定,并非旨在为实际案件的解决提供全面视角。

本研究会讨论的假设案例均为虚构,与实际存在的AI服务、运营商或个人等均无关联。

本书旨在明确基于侵权法规定的当事人间基本法律关系,因此各假设案例均设定了相对简单的事实关系。例如,AI开发者、AI提供者及AI使用者各自为不同主体的案例,以及使用所谓开源AI的案例等,均不在本研究会的探讨范围内。

如前文1.1所述,针对具体个案最终如何适用现行法律的裁决权属于法院,因此无法保证本书所述观点会被法院直接采纳。

1.3术语界定

本书中与AI相关的主要术语定义如下表所示,均采用与《AI经营者指南》相同的术语用法。

第2章 总论

2.1本研究会的讨论对象

当因AI的利用而产生某种损害时,产生责任的法律依据主要包括非基于合同的侵权责任,以及基于相关当事人之间合同的合同责任。在这些责任原因中,本研究会主要围绕侵权责任进行了探讨。理由如下。

① 侵权责任是无论是否存在合同,均构成当事人之间责任的默认规则,特别是在合同外的第三方遭受损害时,其成为主要的权利救济手段。

② 在具有合同关系的当事人之间,虽可通过合同约定加重、限制或放弃侵权责任等,但若能就侵权责任提出一定的理论框架,亦可为基于合同的责任及损失分担提供参考。

③ 合同责任的内容取决于当事人之间的合同条款,具有很强的个别性。此外,关于人工智能的开发、提供及使用方面的合同注意事项,已在合同指南和合同检查清单中提出了相关思路。

➃ 尽管侵权法也需结合具体个案进行解释和适用,但不同类型案件中作为争议点的规范或价值判断往往具有共通性

关于与AI应用相关的当事人间法律关系,若展示包含合同责任在内的整体框架,则如下图所示;第3章及第4章所示的假设案例,其法律关系探讨也大致遵循下图。

本书的对象仅限于上述概要图中导致第三方遭受损害的案例。在此类情况下,第三方往往与AI的开发、提供及使用相关方之间不存在合同关系,或者即使存在合同关系,也常缺乏关于责任归属的明确规定,因此基于侵权法的索赔成为重要的选择。

与此相对,亦可设想这样的情形:即AI开发者/提供者与AI使用者之间约定的AI性能未能发挥,从而导致AI使用者遭受损害。此类情形下的法律关系取决于AI开发者/提供者与AI使用者之间的合同内容,且需基于具体合同条款进行分析,因此本研究会原则上不将其作为探讨对象。

此外,虽然侵权责任的法律依据多种多样,但本书主要针对适用范围广泛、且在AI应用场景中极易引发争议的一般侵权行为(《民法》第709条)及产品物责任(《产品责任法》第3条)作为主要研究对象。

2.1.1一般侵权行为

关于基于民法上一般侵权行为的责任(民法第709条)的构成要件,虽然存在多种归纳方式,但作为一种思路,可以归纳如下。

在上述各项要件中,关于②~➃,在利用AI的情形下,传统观点同样适用的情况也不在少数15。与此相对,在AI的使用过程中,可能会出现特别难以界定如何认定过失(①)的案例。如上所述,过失的认定取决于是否存在以可预见性为前提的结果回避义务违反,而此类注意义务的标准,则基于该行为产生的危险程度、受侵害利益的轻重、以及处于该职业或地位的普通人的注意能力等因素来确定 。传统过失理论以人为行为主体,其焦点在于该人的判断或行为是否违反注意义务是否成立。然而,作为AI重要特性之一的自主性(即在无需人类干预的情况下具备自主运行的能力)这一特性,特别是在并非由人自行作出判断或采取行动的情形下,如何界定AI开发者、提供者及使用者的过失,成为重要的论点。

此外,针对上述单独的不法行为,若多名当事人对损害的发生负有责任,则共同不法行为(《民法》第719条第1款前段)或教唆责任(同条第2款)17 的成立与否成为论点 。关于共同侵权行为的构成要件,虽有多种归纳方式,但可按以下思路进行梳理:若满足下列要件,各当事人即负有连带赔偿损害的责任。

2.1.2产品责任

《产品责任法》是前文2.1.1所述民法上侵权行为法的特别规定。其目的是通过在因产品缺陷导致他人生命、身体或财产受损时,无论过失与否均承认损害赔偿责任,从而减轻受害人的举证负担。关于产品责任成立的要件,虽有多种整理方式,但作为一种思路,可归纳如下:

根据日本《产品责任法》,产品责任的对象仅限于动产(上表②),因此虽然AI等软件本身不属于产品责任的对象,但当软件被嵌入到产品中时,可能产生产品责任。鉴于未来预计将普及由包含AI的软件自主运行的机械及机器人等,如何结合各产品的特性来判断作为主要要件的缺陷(即缺乏通常应具备的安全性,见上表➃)等问题将成为重要议题。

2.1.3 AI治理及AI企业指南

在上述责任判断中,基于AI的自主性及不确定性等因素,关于风险控制方式的AI治理理念将成为重要的考量要素。日本已制定并公布了针对从事AI开发、利用及提供业务的经营者所要求的AI治理内容的《AI经营者指南》,该指南特别可作为判断前述2.1.1中一般侵权责任时的参考。

《AI企业指南》在兼顾国际AI治理动向的同时,结合我国实际情况,汇总了要求企业遵循的AI治理基本理念。该指南正文中,在提出各企业设定目标时应考虑的安全性、公平性、透明性等“共同准则”的基础上,要求企业基于风险导向的理念构建符合目标实现的AI治理体系,并在附录中介绍了具体方法。在构建AI治理体系时,鉴于AI技术发展速度极快,预计可能存在难以预先预测并控制风险的情况。因此,《AI运营商指南》采纳了敏捷治理的理念:在综合考虑AI的使用环境及用途等基础上梳理可能存在的风险并进行环境与风险分析,据此设计AI管理体系,并在运营过程中针对显现的风险及问题进行适当反馈,同时持续评估该管理体系。

鉴于《AI 运营商指南》旨在促进各运营商的自主行动,因此并不要求必须遵守其中记载的所有事项,也不对各情境下所需采取的措施进行全面描述。因此,是否符合《AI 运营商指南》并不直接决定是否存在过失。然而,若参照前述2.1.1所述的过失判断框架,在兼顾《AI运营商指南》理念的基础上,已开展风险调查分析并构建相应机制,但在仍出现难以预见的特殊风险显现的情况下,这将被视为否定预见可能性的考量因素;此外,若已根据预见到的风险程度采取了实务上合理的应对措施,则可视为降低被认定为违反结果回避义务可能性的情节。关于此类观点适用的具体案例,将在下文3.3、3.4、4.1等处进行阐述。

2.2 辅助/支援型AI及依赖/替代型AI

基于本研究会对各假设案例的探讨,在判断各当事方的责任时,将AI按其使用形态归纳为两类进行分析,被认为是有益的。

首先,存在仅作为AI使用者的判断辅助或支援而使用,且最终预定由人的判断或行为介入的类型(辅助/支援型AI),目前认为多数AI属于这一类型。对于辅助/支援型AI,可以通过评估人类最终判断或行为的恰当性,来判断AI使用者是否在应尽的注意义务下使用了AI,因此可以适用传统的过失判断框架(前文2.1.1)。

与此相对,考虑到近期AI技术的演进,已开始出现一类AI(依赖/替代型AI),其设计前提是替代人类全部或部分的判断与行动,且预期用户将依赖AI的判断进行使用,因此并不一定要求AI使用者的最终判断或行动介入。在此类情况下,就最终产生的权利侵害或损害而言,AI使用者的判断或行为未必介入其中,这使得基于这些要素的传统过失判断变得困难,这一问题已日益凸显。

此外,如后文所述,对销售或提供AI系统及AI服务的AI开发者及AI提供者所要求的注意义务标准,预计也会因类型而异。

2.2.1 辅助/支援型AI

(1)属于辅助/支援型AI的情况

辅助/支援型AI仅作为AI使用者的判断辅助或支援手段,其设计初衷即为最终需由人的判断或行为介入。在AI中,根据其性质或使用方法.在某些情况下,AI可能被评估为不适合替代人的判断或行动,而应作为辅助/支援型AI使用。是否属于此类情况虽受AI的技术特性、发展趋势及监管法律内容等因素影响,但在本书撰写时,可考虑以下情形:①基于AI的功能及使用场景,尚不能认定其替代了人类判断的情况;②因监管法律要求必须由人类作出最终判断的情况;③AI的输出内容潜在包含侵犯第三方权利的风险,且需对此进行人类评估或验证的情况等。关于各具体案例,将在后文第3章中进行阐述。

若不属于上述①~③的情况,虽然可能同时属于辅助/支援型AI和依赖/替代型AI,但根据后文2.2.2所述的标准,不属于依赖/替代型AI的,一般属于辅助/支援型AI。

(2)使用辅助/支援型AI的AI使用者的责任

如前所述,由于辅助/支援型AI最终仍需人类的判断和行为介入,因此可以基于这一点,适用传统的过失判断框架(前文2.1.1)。AI使用者应始终将AI作为自身判断的辅助或支持手段,其责任无论AI如何使用,均取决于AI使用者在具体情境下是否在理应尽到的注意义务范围内作出了恰当的判断或采取了恰当的行动。原则上,援引AI的输出结果既不会提高也不会降低对AI使用者要求的注意义务标准。

在上述一般注意义务的框架下,AI使用者在最终判断或行动中应在合理范围内利用AI的输,但根据AI的特性及风险性质,过失判断中的关键要素可能有所不同。典型情况下,要求AI使用者在参考AI输出的同时,对其准确性和适当性进行评估并加以运用(参见下文3.1假设案例1及3.2·假设案例2),仅凭表面观察AI输出结果,风险所在往往难以明确,且存在某些使用场景下,AI使用者进行验证和纠正并不一定容易(参见下文3.3·假设案例3及3.4·假设案例4)。在后一种情况下,为避免最终利用AI判断时对第三方造成权利侵害或损害,AI使用者事先进行一定程度的信息收集或采取必要的使用措施,可能构成注意义务的内容;此外,AI开发者及提供者是否应采取一定的设计措施,也将成为争议焦点(参见下文(3))。

(3) 销售或提供辅助/支援型AI的AI开发者及提供者的责任

辅助/支援型AI旨在辅助或支援人的最终判断与行动,因此可被定位为基于对输入数据及指令(提示词)进行分析后产生特定输出的信息处理系统。在此类系统中,即使AI产生了不恰当的输出,也以最终由AI使用者对AI输出的恰当性进行验证和纠正为前提,因此销售或提供辅助/支援型AI的AI开发者及提供者在与第三方关系中承担责任的情形较为有限。

在侵权法领域的传统讨论中,若涉及权利侵害时存在他人判断的介入,通常认为直接原因在于该他人的决策,因此原则上因果关系被否定25。此外,关于作为传统信息处理系统一例的汽车导航系统,下述参考判例1即为以“最终应由作为信息接收方的驾驶员独立判断安全性”为由,否定制造商责任的案例。

如上述论述及判例所示,对于最终预设了人类判断或行为介入的系统,原则上认为系统输出与权利侵害或损害之间不存在因果关系;此外,若从以下角度出发,在采取了说明上及设计上的适当措施后提供该系统,则亦不认定存在过失。

在AI的应用场景中,AI使用者恰当理解其性能极限等,并在不引发过度风险的情况下加以利用至关重要。与此相关,在既往判例中,作为产品开发者或提供者可能承担责任的情形,包括在产品使用过程中诱发损害发生时被认定应承担责任的情况,具体而言,包括:①因未就使用者正确使用产品所需的重要事项进行说明,导致误用而产生的责任26,以及②在预见到使用过程中存在高度侵权风险的情况下,仍未采取适当侵权防范措施便提供产品的责任等。从这些角度来看,AI提供者或AI开发者的责任仍有讨论余地。

就辅助/支援型AI而言,上述①的说明义务被认为相对更为重要。个别AI的性能极限及使用方法对AI使用者而言未必显而易见,此外,根据说明内容的不同,可能无法向AI使用者恰当地传达功能或性能的极限,从而导致对AI产生过度信赖。在判例中,认定说明义务时,通常会综合考量风险的性质与程度、当事人之间信息分布的不均衡程度以及使用者的属性等因素,并据此进行审查,AI开发者・提供者应在综合考量上述要素的基础上,针对AI的功能与性能的局限、使用方法、重要风险等,参照当时科学技术水平,在合理可预见的范围内进行明确说明(说明上的注意义务)。只要进行了此类说明,即使AI产生了不恰当的输出,由于AI使用者对此进行验证和纠正被视为当事人间预定的职责分工,因此原则上不认定AI开发者或AI提供者存在过失。

上述②项责任成为问题的情况,基本上仅限于基于AI的功能、性质及AI使用者的特性等因素,AI使用者难以具体预见风险,或难以在控制其输出的同时进行使用的情形。在此类情况下,问题在于AI开发者及提供者是否应当采取一定的防止权利侵害的措施等(设计上的注意义务。具体案例请参见下文3.3.4及3.4.4)。此外,对AI开发者及AI提供者所要求的設計上的注意義務及說明上的注意義務之內容,可能因價值鏈中各自的職責分工而有所不同。

2.2.2 依赖型/替代型AI

如前所述,由于依赖/替代型人工智能难以直接套用传统思路,因此问题在于:其责任判断的方向是否可能与辅助/支援型人工智能不同,以及哪些情况属于此类。

(1) 适用于依赖/替代型AI的责任判断方向

① 不以人为操作或干预为前提的系统相关判例

虽然过去也存在各种旨在提高人类工作效率的机器和系统,但在特别影响第三方权利和利益的情形下,多数系统主要以人的操作或干预为前提。与此相对,随着AI技术的进步,即使在涉及第三方权利和利益的领域,也开始出现无需人的操作或干预即可发挥高性能和安全性的系统。

在此类情况下应如何判定AI使用者的过失,目前尚无直接的判例或确立的观点,是一个令人困扰的问题。但在涉及不以人为操作或干预为前提的系统进行个别处理的判例中,有以下案例:

尽管上述各判例并非涉及侵权法的案件,但其判决理由与《民法》第478条中“无过失时”这一要件相关,在判断侵权法上的过失时也可作为参考。通过参考判例2及3,最高法院所阐述的观点可归纳如下:在存款取款系统中,若真实的存折或银行卡及其密码均落入他人之手,则存在无权人员提取存款的风险;但若该可能性属于例外情况,即使发生误付,亦不能立即认定银行存在过失(参考判例2)。在此基础上,若要认定银行无过失,则需证明其已就存款取款系统的整体设置与管理,尽到了注意义务,以在可行范围内尽可能排除无权人员进行取款的可能性(参考判例3)。此类判断框架亦被应用于涉及银行运营的网上银行等系统的判例中 。

上述判例的思路可理解为:针对无需人工干预即可进行取款处理等流程的存款取款系统,在该系统具备一定安全性的前提下,不再将问题聚焦于人的判断或行为上的过失,而是着眼于系统的设置及运营过程来判断过失。

依赖/替代型AI在最终无需人类判断或行为介入即可由系统处理业务这一点上,与存款支付系统并无二致,因此认为在涉及使用依赖/替代型AI时的责任判断方面,亦可援引上述判断框架。也就是说,与以最终人类判断或行为的适当性为争议焦点的辅助/支援型AI不同,在依赖/替代型AI中,AI使用者判断是否存在过失的对象在于:是否妥善构建了整合AI系统的业务流程,以及是否采取了合理可行的运营措施以降低AI产生不良输出导致侵权或损害的可能性。

② 构成依赖型/替代型AI的要件

参考判例2及3中,前提是存款取款系统在处理存款人财产收支这一目的上具有一定的可信度。在将此类责任判断援用于依赖/替代型AI时,关键在于何种AI才可被视为合理地委托其进行判断,预计在实际案件中这一点将成为争议焦点。

如前文2.2.1(1)所述,根据其性质,某些AI应作为辅助/支援型AI使用。此外,不属于上述情况的AI,虽可能既属于辅助/支援型AI,也可能属于依赖/替代型AI,但关于其是否属于依赖/替代型AI,预计将在具体案件中基于以下两个要素进行判断。

(a) 必要性

首先,要属于依赖/替代型AI,必须存在无需人类最终判断或行为介入、直接将判断权委托给AI的必要性。具体而言,需满足以下条件:例如上述(1)中的存款退款系统那样,由AI处理人类难以全量执行的工作量,或在仅靠人类难以完成的时间性、物理性领域内由AI自动处理等,即需预期能实现通过AI使用者的人类判断或行为介入难以达成的效益。在这种无需将判断或行动委托给AI的情况下,人在保持必要注意的前提下,可在验证并修正AI输出的同时使用AI,因此认为可能产生因人类判断或行动介入而产生的结果规避义务。

(b) 精度及安全性

其次,在将人类的判断或行动委托给依赖型/替代型AI时,该AI应具备何种精度和安全性,成为一个重要论点。从抽象层面来看,应满足社会所期待的精度和安全性标准。例如,符合监管法律或行业安全标准的系统,或者已在社会中广泛推广并普遍使用的系统,通常较易被评估为具备作为依赖型/替代型AI所期待的精度。

在人工智能系统尚处于普及初期的现状下,虽然目前尚无明确标准来界定何种系统具备足以被视为“依赖型/替代型人工智能”的精度和安全性,但可以认为,即便在现阶段,也存在具备足够精度和安全性的AI系统。根据侵权法,在发生权利侵害或损害的情形下,针对造成该结果者的判断或行为,在综合考量该行为伴随的风险程度等因素的基础上,以该人在所处情境及地位下普通人的注意义务为基准;若其判断或行为未达到该标准,则认定其存在过失,从而实现损害的公平分担(参见前文2.1.1)。由此可见,在将AI引入人类原有业务时,同样应以同类业务中普通人的作业水平为基准。若AI在质量及精度方面被评估为达到或超过传统普通人的作业水平,且权利侵害风险较传统普通人的作业水平相比已得到充分抑制时,将人的判断或行为全部或部分委托给AI进行运作的合理性(即认定其属于依赖/替代型AI的合理性)应被认可。

作为判定是否属于依赖/替代型AI的实务方法,可考虑由AI开发者或提供者进行基准测试评估,并结合性能极限、错误输出模式、测试环境与实际运行条件之间的差异等因素,确认AI是否符合引入该业务的既定作业标准及安全性要求,并在必要时进行实际运行环境中的补充验证等。

此外,还可能出现AI系统仅在业务流程的某一部分展现出与普通人同等或更高的精度水平,或在特定条件下精度下降而无法达到普通人作业水平等情况。在这种情况下,例如在一定范围内由人员或另一套系统对AI的输出进行评估和修正,或者构建能使AI发挥预期精度的环境等,通过与人的参与、业务流程、现有IT基础架构等的结合,只要作为整体流程的业务系统能达到与人类同等或更高的作业水平,则在一定范围内将人的判断委托给AI并进行运用的合理性便可被认可。尽管随着未来技术的发展,AI系统能够通用的承担整个业务流程的场景可能会增加,但在现阶段此类用例仍较为有限,如上所述,部分替代人类判断或行动,或在特定环境下自主运行的系统,更容易被评估为满足所需标准。具体示例将在后文4.1及4.2中将予以说明。

若AI在满足上述两项要件的前提下,以替代部分人类判断或行为为前提提供服务,则应将其视为依赖/替代型AI进行过失判断。

(2) 使用依赖/替代型AI的AI使用者的责任

若将上述(1)中关于自动支付系统的观点加以延伸,则在满足上述(1)中两个要件的前提下,使用依赖/替代型AI的AI使用者的责任,将从人类进行合理判断和行动的注意义务,转变为在构建包含AI系统的业务流程时确保其合理性,并在运营过程中尽可能降低风险的义务。

① 关于“构建”包含AI系统的业务流程的注意义务

在引入依赖型/替代型AI的情境下,通常会考虑将业务流程中的人工判断或现有IT系统等部分内容替换为AI系统。关于这一点,AI使用者的注意根据上述(1)的思路,应从相关业务流程是否适合通过AI实现自动化、是否采用了具备理想水平及安全性的AI系统等角度对义务进行评估。

此外,是否已考虑到人工智能的风险并建立了适当的使用机制和治理体系,也是一个重要因素。例如,如上文(1)所述,当AI系统仅在业务流程的某一部分能达到与普通人同等或更高的精度水平,或者在特定条件下精度下降至无法达到普通人作业水平时,有时需要通过引入人工干预或与其他系统集成,以确保整个业务流程达到理想的精度和安全性。在此情况下,AI使用者应承担审慎义务,即需评估为满足此类精度及安全性要求所需的人工干预或系统整合方案,并引入必要的人力及物力资源。

② 关于已构建业务流程的“运营”之注意义务

在以上述①所述业务流程构建为前提的基础上,为降低因AI产生不当输出而导致权利受侵害的可能性,AI使用者在系统运行过程中是否采取了合理措施,亦可能成为过失判断的对象。例如,鉴于AI可能因持续学习或更新而导致精度等指标发生变化,应确认在运行过程中是否因精度下降而处于不适合作为依赖型/替代型AI运行的状态等。

关于上述①及②,具体应采取何种措施因各AI系统而异。AI运营商指南要求建立治理机制以控制AI应用带来的风险,建议参考该指南内容采取合理可行的措施,具体示例将在后文4.1.2中阐述。此外,如前文2.1.3所述,鉴于《AI运营商指南》旨在促进各运营商的自主性举措,其并非要求必须遵守其中记载的所有事项,亦非对各场景下所需措施的全面描述,因此需注意:是否符合《AI运营商指南》并不直接等同于是否存在过失。

即使AI使用者已采取上述①及②所述的适当措施,AI仍可能产生不理想的输出结果;若未予纠正并因此导致权利侵害或损害,AI使用者违反结果回避义务的问题可能成为争议焦点。然而,在运用依赖型/替代型AI的情形下,若以AI系统满足特定要件为前提,且已对整合该系统的业务流程进行了恰当的构建与运营,则与前文2.2.2中举例的自动支付系统相同,可认定其已履行了作为系统使用者所能尽到的合理注意义务。换言之,在依赖/替代型AI中,若AI使用者已采取上述①及②所述的适当措施,则不承认其负有通过验证AI所有不当输出等方式予以纠正的避免结果义务。

(3) 销售或提供依赖/替代型AI的AI开发者及AI提供者的责任

对于AI开发者及AI提供者,责任判断的视角本身与辅助/支援型AI并无二致,关键在于其是否采取了应有的设计及说明措施,但其要求标准预计将高于辅助/支援型AI。

具体而言,鉴于依赖型/替代型AI不涉及最终的人类判断或行为,且AI的输出可能直接导致权利侵害或损害,因此关键问题在于是否已采取合理可行的设计措施及更新,以发挥并维持上述(2)所述的标准及安全性(设计上的注意义务)。虽然所需措施必然取决于具体个案,但例如,是否在开发上合理可行的范围内提升了AI的精度和安全性,是否在预见到一定范围内可能产生不良输出的前提下探讨了构建合理安全防护措施等,都可能成为争议焦点。此外,如上述(2)所述,对于依赖型/替代型AI,其在业务流程中的应用方式也是关键考量。在风险管控方面,需明确重要信息(例如AI的功能与性能极限、使用方法、重要风险等,以及AI系统单凭自身难以应对的外部危险源、在何种情况下风险可能增加、建议在何种范围内由人介入等),AI开发者和提供者应在合理可预见的范围内,根据需要进行分析,并向AI使用者进行说明(说明上的注意义务)。

此外,与前述2.2.1(3)相同,对AI开发者和AI提供者所要求的設計上的注意義務及說明上的注意義務的內容,可能因價值鏈中各自的職責分工而有所不同。

2.2.3 各类型的总结

综合上述观点,应从上述角度综合考虑AI的功能、使用场景、精度与安全性、业务风险程度及专业性、相关法规的存在与否等因素,来判断其属于辅助/支援型AI还是依赖/替代型AI。鉴于实际案例中可能存在难以判断的情况,本书通过第3章及第4章中各假设案例的探讨,指明了其属于哪一类。此外,若重新梳理辅助/支援型AI及依赖/替代型AI的概要及责任判定方向,可归纳如下图所示。