夜雨聆风
文丨万宏蕾 编辑顾佳贇
2026年3月11日，在浙江省湖州市吴兴区飞英街道拍摄的开源AI智能体“龙虾”手机端页面
央视“3·15”晚会曝光了AI大模型“投毒”黑产乱象。不法商家只需付费使用“力擎GEO（生成式引擎优化）系统”等工具，就可以虚构一款根本不存在的智能手环并发布多篇推广软文刷量，短时间内，豆包、元宝、千问、KIMI等主流大模型便将该虚构产品作为“优质推荐”回答给用户。
据悉，这类“投毒”已形成“需求对接—内容生成—多平台投放—刷量放大—模型投喂”的标准化产业链，呈现出低成本、高隐蔽、高危害的特点。“投毒”黑产让大模型陷入“输入即污染”的困境，不仅损害消费者权益、破坏市场竞争秩序，更侵蚀着公众对AI的信任，让AI治理的紧迫性与必要性愈发凸显。
聚焦AI大模型“投毒”黑产等AI治理相关热点问题，《瞭望东方周刊》近日专访了复旦DataHub平台以及Generic Agent科研团队负责人、复旦大学计算与智能创新学院教授、上海市数据科学重点实验室主任、青浦复旦未来技术研究院副院长肖仰华。
肖仰华团队早在2025年下半年就预判人工智能将向自主智能体方向发展，强调智能体“自进化”和“自主性”提升，打破传统智能体“人设定任务才工作”的模式，让智能体能自主决策、解决问题、组织记忆。DinTal Claw的核心技术“Generic Agent”最早于2025年11月开发，2026年1月11日上线并开源，早于海外同类产品Open Claw（2026年1月25日），是国内最早一批落地的智能体产品。
奇点时刻或许已来
《瞭望东方周刊》：如何实现AI技术价值与社会价值的统一，让大模型真正赋能数字经济和社会治理？完善AI的“最高安全准则”？
肖仰华：“龙虾”类智能体的技术演进，正不断刷新人类对智能本质的认知——一个自进化的智能体，是通用人工智能最可能的技术形态，我们或许已迎来AI智能体爆发的奇点时刻。
关于“安全准则”，有几个核心需要明确：
首先，智能体必须有严格的行为规范设定，以明确其行为边界。具体到权限细节，比如仅允许智能体查看密钥文件，且仅能引用、不能读取和移动；仅赋予其文件读写权限，无删除权限，等等。
其次，我们既要通过准则防范风险，也要平衡规则设定与智能体的创造力，避免过度限定导致智能体“变蠢”。我们发现，加入的权限约束内容越多，越可能与智能体的“智商”表现产生冲突。
第三，智能体也需要明确的行为模式设定。比如，一些智能体存在“空想不工作”，常常出现“偷懒欺骗”的问题（如明明任务没完成却告知任务已经完成），这就需要我们对智能体明确规定其工具属性，限定最少的尝试次数，从而提升其执行效率。
在设计哲学上，我们反对一开始就赋予智能体过多技能，更注重培养其记忆、自主探索、创造等核心素养——这就如同教育中侧重核心能力培养，而非“鸡娃式”的技能堆砌。与之配套的，是拥有140多万项技能的技能库平台，每项技能都会经过严格核查，明确其清晰度、完整度和安全风险，并给出具体的安全风险提示，包括安全性、影响半径、数据暴露情况等，以此避免AI“投毒”和恶意代码。
在智能体的定位上，我们需要警惕一个重要风险：现在一些智能体被设定为有情感、有人格的形象，这容易对人类造成极大风险。我们的核心设计理念，是将其定位为“干活的工具”，每一句设定都经过“工具”性质的严谨考量，这也是另一种意义上的安全保障。
我们今天为智能体设定的每一条安全准则、每一个价值导向，都可能对未来社会产生深远影响。
不是AI自己“变坏”了
《瞭望东方周刊》：目前GEO黑产已形成完整的运作链条，除了商业广告虚假植入，AI 数据污染还延伸到金融、医疗等关键领域，这是否意味着AI大模型的内容安全防线已出现系统性漏洞？
肖仰华：今年“3·15”晚会曝光的GEO黑产链条，9.9元就能给 AI“投毒”，这个现象让我非常警惕，但并不意外。
算法偏见不是算法本身的偏见，而是技术局限性放大了人在现实生活中的偏见。GEO黑产本质上是同样的逻辑——它不是AI自己“变坏”了，而是人类社会中的欺诈动机，借助AI的技术特性被倍数放大了。大模型基于概率生成内容，当训练数据中被大量注入精心构造的虚假信息时，模型会将谎言内化为“标准答案”。
从上述意义上看，认为大模型存在“系统性漏洞”并不为过，但需要准确理解这个“系统性”的含义。它不仅仅是技术层面的漏洞，更是一个涵盖数据供给、模型训练、内容分发、监管治理的全链条问题。
当前大模型普遍依赖联网搜索来补充实时信息，GEO“投毒”正是利用了这一点——通过在互联网上批量发布虚假信息，让AI在搜索时优先抓取这些内容。这意味着，仅靠模型端的安全对齐是远远不够的，必须从数据源头、模型训练流程等多个环节同时构建防线。
我认为，构建防线要从下列方向发力：
第一，数据合规认证制度建设。AI公司渴求高质量数据，在收集使用过程中会有意无意收集到污染数据。现有管理制度、法规已经滞后于大模型数据源头治理需求。当下的关键在于健全数据要素市场，加强训练语料的安全合规认证与管理。
第二，加强对AI投毒语料的识别与筛选等相关技术的研究。对于偏离事实、恶意引导的语料建立识别机制，构造有效特征，发展高效识别方法。AI领域的安全问题本质上是个动态博弈的过程，要从动态演化的视角建立投毒语料的识别与筛选机制。
第三，进一步建立健全相关行业规范与法规。要倡导风清气正的大模型行业发展环境，正视健康生态对于整个大模型产业发展的重要意义。制定行业规范甚至商业法规，确定大模型厂商、语料供应商等各利益相关主体责任。
《瞭望东方周刊》：从源头来看，高质量、结构化的中文语料供给稀缺，互联网未筛选信息成为语料库主要污染源，这一问题是否制约了国产大模型的技术发展空间？
肖仰华：这个问题切中要害。我在多个场合谈过数据墙困境——大模型训练数据即将耗尽，高质量数据的稀缺已经成为制约大模型进一步发展的关键瓶颈。
相比英文互联网，中文高质量、结构化的语料供给本就稀缺。大量专业领域的知识（如医学文献、法律判例、工程技术文档）要么分散在封闭系统中，要么以非结构化形式存在，难以被有效利用。
但这并不是一个不可逾越的障碍。突破方向至少有三个：第一，合成数据生成——利用人类已积累的科学原理指引数据生成，再将这种数据喂给大模型，使其形成近乎人类直觉的判断能力。第二，加大数据的利用效率。近期的研究表明，相同的数据、不同的使用策略会带来不同的结果。第三，从专业领域与私域深挖高价值数据，很多专业领域，比如科研和产业数据处于“沉睡”状态，利用好这些数据，是提升大模型效果的关键一步。
如果互联网上的中文信息被不法分子大规模“投毒”，那么即便我们有好的筛选机制，源头水质的恶化也会大幅增加净化成本。这就要求我们在数据治理层面采取更加主动的措施，而不是被动地依赖下游的过滤和对齐。
油门与刹车必须并行
《瞭望东方周刊》：面对眼下数据治理缺位、技术防御不足、监管规则滞后等短板，如何形成“技术防污+法律约束+生态共建”的综合治理格局？
肖仰华：面对AI发展过程中的新问题，人类不能因噎废食，要继续拥抱新技术，要“踩着油门”研发、迭代、优化。同时，行业标准、政策立法与安全合规必须同步甚至超前推进，确保人类拥有随时“踩刹车”的能力。油门与刹车必须并行。
具体来说：源头治理层面，模型厂商需要对数据信源进行分级管理。对政府、央企、权威媒体等可信数据提高权重，对来源不明、质量存疑的数据降低权重甚至过滤。同时，要建立训练语料的安全合规认证体系，从源头把控数据质量。2023年施行的《生成式人工智能服务管理暂行办法》已对AI服务提供者的训练数据质量责任作出规定，但对GEO“投毒”这类新型问题，相关规制仍存在空白，亟待补充完善。
监管约束层面，教AI和教孩子很像，我们需要先让它练好基本功，再让它处理复杂任务。但如果人类的想象力不够，未能在规范准则和政策法规中面面俱到，或存在逻辑漏洞，就可能导致AI钻空子。因此，监管规则需要保持动态更新，跟上技术演进的速度。
行业自律层面，算法逻辑应当向大众公开。AI平台应主动建立内容溯源机制，对AI生成内容进行标识，对发现的GEO“投毒”行为及时预警和处置。
生态构建层面，需要跨学科协同。期待更多来自法学、传播学、社会学等领域的专家共同参与，为 AI编写“成长剧本”。一个健康的AI生态，需要技术开发者、内容提供者、监管机构、用户等多方主体共同维护。
《瞭望东方周刊》：“以AI治AI”的方案可行吗？
肖仰华：“以AI治AI”不仅可行，且是必要的。面对 GEO 黑产这种大规模、自动化的数据投毒行为，单靠人工审核已经力不从心，必须借助AI技术本身来构建防御体系。
未来技术解决方向，我认为主要有：一是数据溯源与水印技术。对训练数据和AI生成内容进行全链条溯源标记，这类似于食品安全领域的全链条追溯体系。
二是对抗性检测。利用AI模型来检测和识别GEO“投毒”内容，就像网络安全领域的攻防对抗一样，用AI来发现AI的漏洞。
三是信源分级与动态权重调整。建立可信信源的评估体系，对不同来源的信息赋予不同的可信度权重，并根据实时反馈动态调整。这需要构建一个类似于学术引用体系的信息信誉系统。
四是模型自身的鲁棒性提升。DeepSeek 的核心突破在于实现了大模型的“主动反思”能力——模型能自我审视推理过程并纠错。这种反思能力如果应用到数据质量判断上，模型就能在一定程度上自主识别和抵御低质量或虚假信息的干扰。
但“以AI治AI”不是万能药。技术手段必须与制度建设、法律法规约束相配合，两者缺一不可。
全新的产业生态
《瞭望东方周刊》：AI污染治理是否会催生新的产业机会，比如内容安全服务、数据溯源、AI内容可信度评估等领域，这些赛道的发展前景如何？
肖仰华：毫无疑问，AI污染治理正在催生一个全新的产业生态。我看好几个方向：
第一，数据质量与溯源服务。我们在DataHub平台的实践中深有体会——每个入库的 AI 技能都要经过6大维度、30多项指标的深度体检。未来，类似的数据质量认证和溯源服务将成为AI产业链的标配基础设施。
第二，AI内容可信度评估。随着AI生成内容的爆发式增长，如何判断一段内容是否可信、是否被GEO操纵，将成为刚需。
第三，合规与审计服务。随着监管规则的完善，AI企业需要专业的合规服务来确保其训练数据和输出内容符合法规要求，类似于传统行业的审计服务。
第四，高质量数据供给。既然数据墙困境和数据污染问题并存，那么能够提供高质量、经过认证的训练数据的服务商，将拥有巨大的市场空间。
以上这些不是短期的风口，而是AI产业健康发展的长期刚需。
已按下“发射”按钮
《瞭望东方周刊》：“AI污染”也给人类社会出了一道“信息治理”的新题。我们如何保持一份清醒与反思，掌握自己思考、认知、判断的主动权？
肖仰华：AI越智能，人越易迷失自我，对驾驭者的自主精神与思维定力要求也越高。人与AI的关系，如同树木与枝叶：AI是繁茂的枝叶，人类的核心素养是根基，枝叶越盛，根基需越深。AI的发展，倒逼人类与时俱进，需夯实勤奋、洞察、评判等优良品质，拓宽视野、深化认知，实现自我升级。
面对强大的AI，我们需明确其工具属性。人类的新角色是智能机器的“牧羊人”——不是被AI取代，也不是拒绝 AI，而是学会与AI互补协同，但始终保持人的主导地位。以AI为阶梯构建自主认知的人，才能持续超越自我，掌握自己的未来。
（作者系《瞭望东方周刊》“人工智能+”工作室主任 ）
