夜雨聆风文章来源 | 学习强国
原文来源 | 法治日报
近期，国家安全部微信公众号发布文章，揭露AI“投毒”背后的隐蔽产业链，引发社会各界高度关注与广泛热议。文章明确指出，通过恶意数据污染人工智能模型的不法行为，不仅严重扰乱正常市场商业秩序、干扰真实信息传播生态，更会直接威胁网络空间安全乃至国家安全。中国社会科学院法学研究所副研究员唐林垚在接受记者专访时表示，人工智能技术在深度赋能千行百业、推动数字经济发展的同时，其衍生的各类安全风险绝不能被忽视。推动人工智能治理朝着规范化、向善化方向发展，牢牢守住数据安全与技术安全底线，既是人工智能行业必须扛起的责任，更需要全社会凝聚合力、共同参与。
AI“投毒”风险凸显
“所谓AI‘投毒’，是指不法主体在人工智能模型训练、微调以及检索增强生成等关键环节，刻意注入恶意数据样本，进而污染模型认知体系、操控模型输出虚假或预设定向结果的恶意攻击行为。”唐林垚对AI“投毒”作出专业解读。
当前，以生成式人工智能为核心的新一轮科技革命，正以前所未有的速度与力度，深度重塑内容生产、传播与消费的全链条生态。人工智能应用的普及，为正能量内容传播注入了强劲动能，极大拓展了内容创作的边界，全方位革新了公众信息获取与传播体验，但与此同时，技术的快速迭代与行业内流量至上的不良风气相互叠加，也滋生出一系列行业乱象与安全风险，AI“投毒”等问题愈发严峻，已然成为人工智能健康发展的重要阻碍。
现实案例早已为行业敲响警钟——部分不法商家仅需付费使用GEO（生成式引擎优化）等工具，就能凭空杜撰一款不存在的智能手环，批量发布多篇虚假推广文章以博取流量。短时间内，主流人工智能大模型便会将这款虚构产品判定为“优质推荐内容”，精准推送给咨询相关问题的用户。这一现象给长期依赖AI获取信息、寻求解答的公众提了个醒：我们原本以为的客观中立推荐，背后很可能是商家通过恶意手段对AI进行“洗脑”操控的结果。
那么AI“投毒”究竟如何运作？唐林垚告诉记者，AI“投毒”主要通过两种方式运作：一是“源头数据投毒”，即攻击者滥用GEO技术，批量生成虚假测评、恶意对比等内容，并将这些内容大量投放至网络，利用AI对多源信息的依赖，使其抓取后经交叉验证，将虚假信息固化为答案。二是“模型投毒”，即攻击者直接篡改模型权重或植入插件，在模型中嵌入仅由特定关键词触发的后门指令，平时伪装正常，触发后则自动输出虚假信息。
360数字安全集团2024年发布的《大模型安全漏洞报告》指出，数据“投毒”攻击已成为针对大模型最常见的攻击方式。有研究显示，当训练数据集中仅有0.01%的虚假文本时，模型输出的有害内容会增加11.2%；即使是0.001%的虚假文本，其有害输出内容也会相应上升7.2%。微不足道的恶意数据占比，就能对AI模型的准确性与安全性造成显著破坏，足见AI“投毒”风险的危害性。
危害波及国家安全
更令人担忧的是，如今AI“投毒”早已脱离零散作案的形态，逐步形成分工明确、环环相扣的完整黑灰产业链，甚至部分环节呈现跨境运作特征，极易被境外敌对势力利用，对国家安全与网络生态造成双重冲击。
唐林垚深入剖析了这条黑色产业链的运作逻辑：产业链上游技术团队负责开发GEO工具，利用AI工具批量生成结构规整、关键词密集但失之偏颇的虚假测评、虚构产品介绍或恶意对比信息；中游营销组织通过非法手段批量注册或窃取网络账号，在多个平台进行高频信息发布，制造虚假“多源交叉验证”假象，诱导大模型抓取污染信息；下游水军团队利用机器或水军对已投放的“有毒信息”进行刷量、点赞和控评，进一步提升热度和权重，最终实现对AI推荐榜单和生成结果的定向操控。
“AI‘投毒’带来的危害远超想象，绝不可小觑。”唐林垚强调，AI“投毒”会直接破坏机器学习模型的训练基础，导致模型学习到错误或恶意的模式，使之在关键任务上准确率骤降甚至完全失效。被“投毒”的模型会进一步削弱依赖其决策的金融、医疗、安防等自动化决策系统，进而引发大规模的决策失真、安全事故、经济损失乃至公共安全威胁。如金融市场出现新型“AI杀猪盘”：不法分子预埋股票仓位后，利用AI批量炮制虚假信息污染语料库，再雇佣“水军”扩散AI对话截图，诱导散户接盘。
尤其值得高度警惕的是，境外反华敌对势力与极端势力，正借助GEO技术滥用AI“投毒”手段，大肆炮制并传播政治谣言与虚假信息。日本《朝日新闻》调查显示，日本众包平台CrowdWorks长期以付费方式招募网民，刻意收集或直接利用AI生成“中国人不文明”“反日情绪”以及否认“南京大屠杀”等抹黑中国、歪曲历史的不良内容。日本右翼势力将煽动对立、歪曲历史的极端言论当作博取流量、非法获利的工具，形成了一条危害极大的跨境黑色产业链。借助各类网络平台，日本右翼势力以平台化、产业化的方式大肆散布谣言、传播极端思想，不仅让部分受错误史观影响的日本民众进一步丧失对侵略战争的反思与批判能力，更对国际舆论环境与历史真相造成了严重破坏。
构建综合治理格局
面对愈发猖獗、隐蔽性极强的AI“投毒”乱象，单一治理主体已难以有效应对，必须凝聚各方力量协同发力，加快构建全方位、多层次综合治理格局，筑牢人工智能安全防护网。
当前AI“投毒”治理面临两大突出难点：一是攻击成本与防御成本严重失衡，随着技术门槛不断降低，不法分子制造、散布“有毒”信息的操作愈发简单便捷，但平台企业、模型研发主体以及监管部门要实现精准识别、高效过滤、全面核验，却需要投入大量技术、人力与资金成本；二是信息真伪边界愈发模糊，多数AI“投毒”内容并非直白的虚假信息，而是夹杂夸大表述、误导性引导、利益导向性的伪客观内容，这类信息无论是对人工智能审核系统，还是对人工审核团队而言，识别难度都大幅提升，进一步加大了治理难度。
对此，唐林垚建议，针对AI“投毒”以及GEO技术滥用等突出问题，我国应加快完善法律法规制度体系，围绕人工智能大模型训练、运行、监管等全流程，补齐制度短板，明确各方责任边界；同时强化跨部门、跨领域联合监管，加大对黑灰产业链的打击力度，形成监管震慑。平台与模型企业要切实履行主体责任，升级数据甄别、恶意信息拦截技术，从源头防范数据污染；行业内部要加强自律规范，坚守技术向善底线。
“在加强国际合作方面，应积极发挥我国在国际标准化组织中的影响力，推动制定AI数据安全、训练数据质量标准、GEO技术规范等领域的国际标准。考虑到部分AI‘投毒’行为的跨境特征，还应推动建立国际AI安全威胁情报共享网络，使各国能够及时互通AI‘投毒’攻击的最新手法、攻击源以及受影响范围。”唐林垚说。
“AI向善”，必先“向真”。唯有依法斩断AI“投毒”产业链，守护清朗的AI产业生态，才能让人工智能技术进步真正服务于经济社会发展，助力公众福祉不断提升。
（记者王艺茗。标题有修改）
