
编者按
人工智能的高速发展,掀起人工智能应用的新高潮,技术滥用引发的风险给检察履职带来新的挑战。本期专题根据犯罪类型的划分,探讨人工智能技术开发者、服务提供者与技术使用者三方主体间的法律责任,强化人工智能服务提供者作为风险枢纽的监管责任,提出多维度动态风险长效治理机制的构建。在推动我国新一代人工智能技术在内的新兴技术高质量发展的同时,为促其有益发展、快速应用、保障公民合法权益提供法律支持。
诈骗案件中生成式AI辅助犯罪工具的刑法评价标准重构

王丹
河北省沽源县人民检察院
党组成员、副检察长
一级检察官
摘 要:生成式人工智能(AIGC)犯罪工具的刑法评价应突破传统“技术中立”原则,转向以“功能专用性”为核心的标准重构。技术传播者的刑事责任认定,取决于其在设计、传播环节是否创设了可归责的犯罪风险:若技术功能显著偏离合法用途,或宣传中突出违法引导,即可推定主观明知。同时,应构建开发者、传播者、使用者分层责任体系,并在技术开发阶段嵌入合规审查与安全机制。这一定位有助于解决AI拟声等深度伪造技术引发的共犯认定与证据审查难题,实现技术创新与犯罪防控的平衡。
关键词:生成式人工智能 犯罪工具 刑法评价标准 技术中立 功能专用性
全文
一、基本案情
2025年4月,湖北省黄石市发生系列针对老年人的电信诈骗案件。被告人吴某涛经人介绍,获悉可前往各地帮助收取诈骗资金以牟取非法利益,遂添加上线联系方式。其后,吴某涛按照上线指令,先后前往3名被害老人住处。在作案过程中,上线通过电话与被害人联系,利用AI拟声技术模拟被害人孙子的声音,以“在学校与同学发生冲突并失手伤人,需赔偿私了”等虚构事由制造紧急场景,骗取被害人信任。吴某涛则假冒被害老人的孙子的“同学”上门收取现金,并在取款过程中再次接通上线语音电话,让老人亲耳确认“孙子”的声音,以加固信任。3名老人因此分别被骗取2万元,共计6万元。吴某涛将所收款项转交他人,从中获利1700元。
公安机关接报案后迅速展开侦查,通过资金流向追踪、通讯记录分析等手段锁定吴某涛。吴某涛到案后如实供述犯罪事实,主动退赔全部经济损失并取得被害人谅解。
湖北省黄石市黄石港区人民法院经审理认为,被告人吴某涛以非法占有为目的,伙同他人骗取财物共计6万元,数额巨大,其行为已构成诈骗罪。吴某涛明知他人实施诈骗,仍接受上线安排上门收取、转移诈骗款,构成诈骗罪共犯,在共同犯罪中系从犯。鉴于其到案后坦白罪行、全部退赔并取得谅解,依法减轻处罚,以诈骗罪判处有期徒刑2年1个月,并处罚金15000元。
二、案件办理中的重点、难点问题
(一)AI拟声技术的工具属性认定
本案中,上线利用生成式AI拟声技术模拟被害人孙子的声音,是骗局得以成功的关键环节。然而,AI语音合成技术本身具有广泛的合法应用场景,如智能客服、无障碍阅读辅助、影视配音等。若简单套用传统刑法中的“技术中立”原则,容易得出“技术本身无罪,滥用者自负其责”的结论,从而忽视技术在设计、传播及使用过程中可能存在的诱发或促进犯罪的风险。这一问题的核心在于:如何对AI拟声技术在具体案件中进行刑法评价?是将其视为与普通电话、网络聊天工具无异的“中性工具”,还是因其高度模仿人类声音、极易被用于诈骗的特性,而应赋予其特殊的法律地位?对此,传统“技术中立”原则难以提供充分的理论支撑。本案中,上线所使用的AI拟声工具是否具有“功能专用性”,即其设计目的、功能特征是否显著倾向于服务诈骗等违法用途,成为司法机关在事实认定层面需要回应的前提性问题。
从规范层面看,《刑法》第266条关于诈骗罪的规定,并未对“利用何种工具实施诈骗”作出区分,但工具的性质直接影响对行为人主观故意的证明强度以及共同犯罪范围的划定。若某AI工具在设计阶段即内嵌了“模拟特定人声”“绕过语音验证”(如通过少量样本学习实现声音克隆、自动生成可欺骗声纹识别系统的反制音频)等功能模块,且缺乏有效的合规审查与安全机制,则其已超出“技术中立”的范畴,具有可归责的风险创设功能。本案中,因上线尚未到案,相关AI工具的具体技术参数、模型训练数据来源及功能设计细节未能查明,这为工具性质的准确认定带来了客观障碍。
(二)传播者的刑事责任追究
本案仅抓获了“取款人”吴某涛,上游的AI工具传播者、诈骗话术设计者及主要组织者均未到案。这一办案现实暴露出生成式AI犯罪中普遍存在的“技术端—实施端”分离现象:技术的开发、传播与最终的使用往往由不同主体在不同法域完成,传统的共犯理论在归责链条上面临断裂风险。
《刑法》第25条第1款规定:“共同犯罪是指二人以上共同故意犯罪。”但在AI犯罪工具场景下,传播者可能并不直接参与具体诈骗行为,甚至对使用者的身份、作案时间、地点一无所知。此时,能否依据《刑法》第287条之二“帮助信息网络犯罪活动罪”追究其刑事责任,取决于能否证明传播者“明知他人利用信息网络实施犯罪”而仍提供技术支持。问题在于,“明知”的证明在本案类型中极为困难。司法实践中对“明知”的认定多依赖技术宣传内容、用户群体特征、收益分成模式等间接证据。本案中,若上线所使用的AI拟声工具来源于某公开平台,该平台在宣传中突出“高保真声音克隆”“绕过语音核验”等功能,且用户反馈显示大量涉及诈骗场景,则可能推定其具有帮助犯罪的间接故意。然而,因上线尚未到案,平台与上线之间的收益分成模式、定向推送记录等关键证据未能调取,导致传播者刑事责任的追究陷入停滞。
(三)AI生成内容的证据效力审查
本案中,通话语音是证明AI拟声技术使用的关键证据。但AI生成内容本身的“伪造性”引发证据悖论:如何确保用以证明犯罪的语音证据真实、完整且未被篡改?检方需证明:该声音确为AI合成而非真实人声;与涉案工具存在可追溯关联;数据在提取、存储、移送过程中未被污染。现行《刑事诉讼法》尚未针对AI生成内容确立专门证据规则,实践中依赖电子数据鉴定,但鉴定标准统一性及结论可采性均面临挑战。本案公安机关综合话单记录、被害人陈述及吴某涛供述,间接认定AI拟声使用事实,但未能形成从技术工具到生成内容再到使用行为的完整证据闭环。随着AI合成与真实声音的差异趋近于无,证据审查标准亟须系统性调整。
三、生成式AI犯罪工具的分层责任认定体系
(一)开发者责任
1.技术设计目的与风险创设的关联性。开发者责任的核心在于其技术设计是否具备“可归责的风险创设”。根据客观归责理论,若开发者通过架构设计、算法优化或数据训练强化模型的违法功能,如伪造身份证件、生成恶意代码等行为,则超出正常技术开发的容忍范围。例如,专为绕过内容审核而设计的文本生成模型,其参数中违法功能节点的权重显著高于通用模型,可推定开发者具有促进违法用途的主观故意。
2.风险防控义务的履行程度。开发者需承担与其技术能力相匹配的风险防控义务。“明知”的判断不宜要求确知具体犯罪事实,而应采取客观推定规则:当技术功能设计显著偏离合法用途、宣传材料突出违法应用场景或用户反馈中犯罪使用占比具有统计学显著性时,即可推定开发者对犯罪风险至少具有间接故意。若其在此情况下仍未采取内容过滤、使用限制等措施,则构成不作为犯罪。德国联邦法院在2021年判例中确立的“显著性标准”要求,当违法使用方式具有统计学显著性时,开发者需承担相应责任。
3.技术合规性审查的缺失。开发者在技术设计阶段需进行合规性审查,包括评估模型被滥用的可能性、设计安全机制等。若开发者故意规避审查,如删除内容过滤层、采用匿名化技术逃避监管等,则构成故意犯罪。技术文档的表述特征亦可作为归责依据,如文档中明确标注绕过审核的方法,可直接推定开发者具有帮助违法的间接故意。本案中,上线所使用的AI拟声工具若经查明具备以下特征:模型训练数据包含大量人声样本且未设置声纹水印,功能设计内嵌“声音克隆”模块且无内容审核机制,则可认定开发者存在可归责的风险创设。
(二)传播者责任
1.宣传内容的违法性引导。传播者若通过宣传强调技术的违法用途,如“一键生成虚假新闻”“高效伪造身份证件”,则构成对犯罪行为的诱导。若某AI工具宣传中突出“绕过内容审核”“模拟特定人声”等功能,且用户反馈显示较高比例涉及诈骗场景,可认定传播者具有促进犯罪的间接故意。
2.用户群体的定向推送。传播者若通过算法向特定犯罪高风险群体定向推送技术工具,则构成对犯罪行为的实质性帮助。荷兰警方在2023年破获的AI伪造证件案中,通过分析用户访问IP与犯罪窝点的地理重合度,发现传播者故意向已知犯罪区域推送工具,最终认定其构成帮助信息网络犯罪活动罪。传播者需对其用户群体的筛选机制负责,若未采取合理措施防止技术流入犯罪领域,则应承担相应责任。
3.犯罪收益的分成机制。若传播者通过按违法内容生成量计费、提供犯罪技术定制服务等模式获取收益,则构成对犯罪行为的直接经济激励。本案中,上线所使用的AI拟声工具若来源于某公开平台,且该平台宣传中突出“高保真声音克隆”“绕过语音核验”等功能,同时用户反馈显示大量涉及诈骗场景,则可推定传播者至少具有间接故意。
(三)使用者责任
1.工具使用的主观故意。使用者责任以对违法用途的明知为核心。可依据异常行为模式推定直接故意:如批量生成虚假信息、在犯罪高峰时段高频使用,或采取匿名账号、绕过内容审核等规避措施,均可作为主观故意的客观证据。
2.违法行为的独立性。使用者对其利用生成式AI工具实施的违法行为独立承担责任,不因开发者或传播者是否存在过错而减免。例如,使用者利用开源模型生成并传播诽谤性内容,即使开发者未设置审核机制,使用者仍单独构成诽谤罪。
3.违法所得的追缴机制。对于通过生成式AI工具实施犯罪获取的违法所得,需建立全链条追缴机制。例如,在AI诈骗案中,不仅需追缴使用者的诈骗所得,还需追缴技术开发者和平台传播者通过技术传播、工具开发等环节获取的非法收益。我国《刑法》第64条规定的“违法所得追缴制度”应扩展适用于AI犯罪场景,确保犯罪成本的全覆盖。
本案中,吴某涛作为取款端行为人,其主观故意较为明确——明知上线利用AI拟声技术实施诈骗,仍接受指令上门取款并配合语音确认,构成诈骗罪的直接故意。然而,上线(AI工具使用者)的主观故意认定更具复杂性:其利用AI拟声技术模拟特定人声,且作案过程中刻意规避实名认证,该异常使用模式可作为主观故意的客观化推定依据。
四、功能专用性标准下的治理路径
(一)技术开发阶段的合规性审查与司法属性认定
1.技术设计目的的合法性审查。开发者需对技术设计的潜在用途进行法律风险评估,尤其是识别可能被用于犯罪的功能模块。例如,在训练图像生成模型时,若采用包含伪造身份证件模板的数据集,或刻意优化虚假信息生成的逼真度,则可能触发《刑法》第285条、第286条的风险。原因在于:此类行为直接针对计算机信息系统的完整性——非法获取或篡改训练数据,本质上属于“侵入”或“破坏”计算机信息系统的预备行为。至于后续利用生成内容实施诈骗、伪造证件等犯罪,则应由具体实行行为的罪名(如诈骗罪、伪造身份证件罪)评价,而非技术开发阶段的责任归属。欧盟《人工智能法案》明确要求开发者对高风险 AI 系统进行“基本权利影响评估”,这一机制可借鉴至刑事合规审查中。开发者需建立技术设计目的的合法性审查清单,禁止开发具有“功能专用性”的犯罪工具。在该案件中,若经对 AI 拟声技术合法性审查,在架构上内嵌诸如“无限制克隆特定人声”“自动规避声纹识别”等专供违法使用的功能, 即具备了“功能专用性”。此时,司法机关应直接赋予其“违法辅助工具”的特殊法律地位,夯实犯罪认定的客观基础。2.算法安全机制的强制性嵌入。技术合规需通过算法安全机制实现风险阻断,如在文本生成模型中嵌入内容过滤层实时拦截违法内容,在图像生成模型中设置水印标识以便追溯。如美国《算法问责法案(提案)》提出“设计选择合理性”原则,要求开发者在算法设计中优先考虑合规性目标。实践中,技术层面的强制嵌入与留痕,正是破解AI生成内容“证据伪造性悖论”及闭环缺失难题的关键前提,可以通过引入“算法逆向溯源”与“隐形水印比对”等新型手段确证涉案语音系AI合成。以本案为例,侦查机关应向相关AI平台调取上线调用拟声模型的后台日志、生成音频时间戳及原始音频哈希值。通过将云端留存的数据特征与被害人终端接收的诈骗语音进行同一性比对,缝合从“云端生成”到“终端诈骗”的断层,确保定案证据真实、完整且形成严密闭环。
3.合规文档的标准化建设。开发者需建立完整的合规文档体系,记录技术设计、数据训练、安全测试等关键环节。文档应包含以下内容:技术用途的合法性声明、算法安全机制的说明、第三方审计报告、用户反馈处理记录等。合规文档的标准化建设不仅有助于内部风险管控,也为司法机关审查提供客观依据。
(二)产品流通环节的风险预警机制
在生成式AI产品的流通环节,风险预警机制应聚焦于技术使用轨迹的动态监测与异常行为模式的智能识别。其核心在于建立技术使用特征与犯罪风险之间的实时关联分析系统,通过算法模型对海量使用数据进行多维度筛查。平台运营方需部署具有深度学习能力的监测系统,持续追踪用户行为模式,当特定异常指标达到预设阈值时,自动触发分级预警响应。从技术实现层面,有效的风险预警机制依赖三大支柱:一是基于知识图谱的犯罪模式识别系统,将历史犯罪案例中的技术使用特征(如高频生成特定话术、短时异地登录等)转化为可量化的风险指标;二是实时数据流分析架构,能够处理生成式AI产品产生的高频次、多模态使用数据;三是风险处置的闭环反馈机制,确保预警信息能够及时转化为执法干预或平台管控措施。
(三)犯罪防控的协同治理框架
犯罪防控需构建多方协同的治理框架,整合政府、企业、行业组织、公众等力量,形成全链条防控体系。第一,建立企业与政府、司法机关之间的数据共享平台,实时交换AI工具的使用数据、风险预警信息等。第二,行业组织应制定AI技术合规的行业标准,明确技术开发、流通、使用的底线规则。第三,公众是生成式人工智能犯罪防控的重要力量。政府应设立举报奖励制度,鼓励公众举报AI工具的滥用行为,对提供有效线索协助破获案件的举报人给予物质奖励。同时,加强公众教育,通过典型案例宣传、风险提示等方式,提升公众对生成式AI诈骗等犯罪手段的识别与防范能力。
*本文刊登于《中国检察官》杂志2026年5月(经典案例版)
责任编辑 | 王越
美术编辑 | 白书芳
审核 | 韩彬 吴平
夜雨聆风