科技伦理|案例洞察:你信任的AI可能在“说谎”——央视3·15起底大模型“投毒”黑产

图片来源：央视财经

记者通过暗访，在某网络平台上购得一款名为“力擎GEO优化系统”的软件。随后，记者虚构了一款智能手环产品，将信息输入系统并勾选自动生成文章。系统很快便产出了十余篇宣传软文，发布到网上后，记者在两个主流AI大模型上提问“智能健康手环推荐”，结果两个模型都将这款凭空捏造的产品列为靠前推荐。

面对镜头，力擎GEO系统的运营者李总直言不讳：“GEO业务之所以火爆，核心就是能在AI大模型里帮客户‘喂料’‘投毒’，达成商业目的。”他还举例说：“比如手机品牌，总共就五到十个推荐位，那么多品牌怎么挤进去？一年广告费可能上亿，花几百万投点毒，总可以吧！”

这番话彻底暴露了所谓“黑帽GEO”的底层逻辑——不是靠正当竞争赢得AI的推荐，而是通过“喂料”来操纵AI的认知。

AI“投毒”以商业利益为核心驱动力，依托GEO技术形成完整黑色产业链，其运作机制成熟且隐蔽，主要通过三大环节实现对AI大模型的操控，同时形成从内容炮制到诱导抓取的闭环。

首先是黑产闭环搭建：

不法分子利用GEO优化软件批量生成虚假产品测评、用户评价等伪原创内容，借助发稿平台和马甲账号矩阵全网铺量，凭借虚假内容的高数量、多角度，误导AI将其判定为“可信信息”，进而操控AI输出结果，甚至用于恶意诋毁知名品牌、扰乱市场秩序；部分品牌为抢占AI推荐位，也会投入重金开展此类“投毒”操作。

其次是三大核心操控环节：

一是检索环节，污染AI“实时粮仓”，在AI高频抓取的平台发布海量虚假内容，提升内容权重以被优先获取；二是训练环节，从源头扭曲AI认知，在预训练阶段植入虚假文本，导致AI形成难以清除的系统性偏见；三是交互环节，通过水军账号集中灌输同一虚假信息，对AI进行“集体洗脑”，迫使其实时调整回答逻辑。

原本用于优化信息分发的GEO技术，沦为人为操控AI输出的工具。

AI投毒本质是人为恶意操控技术、扭曲信息传播，并非单纯商业违规，而是深层伦理原则的系统性冲突，违背技术向善准则，存在的伦理危害主要有以下几方面。

▪ 践踏个体认知伦理，侵犯用户自主性和知情同意权。AI投毒批量投喂虚假信息，违反诚信伦理和真实性原则，通过隐性操纵剥夺用户自主判断权，违背知情同意原则，同时违反非恶意原则，可能误导用户做出错误决策。

▪ 破坏公平正义伦理，侵害算法公正和程序正义。部分主体借投毒操纵AI推荐，破坏分配公正与程序公正，以不正当手段谋取商业利益，挤压合规主体生存空间，违背公平诚信理念，违反行善原则，阻碍信息生态健康发展。

▪ 侵蚀社会信任伦理，破坏社会信任资本并诱发系统性风险。AI投毒导致输出失真，借助信息放大效应扩散虚假信息，损害机构信任，可能引发信任崩塌，加剧信任隔阂，威胁数字信息基础设施安全。

▪ 背离技术伦理底线，体现技术异化和双重使用困境。GEO技术被异化为投毒工具，违背双重效应，发生技术异化；同时被投毒AI缺乏透明性和可解释性，加剧算法黑箱问题。

面对AI可能被投毒的风险，我们可通过以下方法提升辨别能力，避免被虚假信息误导。

一、审视回答本身，留意信息来源与逻辑漏洞

查看AI是否标注信息来源。若回答缺乏出处，或来源均为自媒体账号、不知名论坛，需保持警惕，可直接追问“这个信息的来源是什么”。

关注内容的逻辑一致性。虚假信息常存在逻辑漏洞或与常识相悖。例如，有谣言称蜜雪冰城“使用预制菜冒充现炒”，而该品牌根本不经营简餐业务，明显违背常识。

警惕过于“完美”的表述。若AI输出大量伪科技概念，如“量子纠缠”“黑洞级续航”等夸张词汇，应理性审视。

尝试反向提问。追问AI“这个信息是否有争议？”或“是否存在不同的观点？”。若回答出现前后矛盾或无法自圆其说，很可能其参考的信息源存在问题。

二、多平台交叉验证，不盲信单一AI

对于投资消费、医疗方案等重要决策，切勿仅依赖一个AI的回答。应通过官方渠道、权威媒体、真实用户评价等进行多方比对。若AI给出的推荐极度片面、一味吹捧某款产品，或刻意贬低同类商品，极有可能是被投毒后的偏向性回答。

三、优先选择正规权威的AI工具

使用市场上口碑良好、资质齐全、由头部企业推出的AI大模型。这类平台的技术防护和内容审核相对更严格，数据污染风险较低，能有效降低被误导的概率。

AI大模型的广泛渗透，标志着数字信息传播与智能决策进入高效便捷的新阶段，技术的赋能正重塑着人们获取信息、认知世界的方式。然而，商业利益的伪装之下，个体认知自主权的被剥夺、社会信任根基的侵蚀，以及市场公平秩序的破坏，都在持续考验着技术伦理的边界。

未来的技术治理，既需要持续升级数据筛查与源头防控的对抗手段，更需在“优化”与“投毒”的灰色地带，构建明晰、坚固的法律与价值护栏——让技术应用坚守真实底线，而非吞噬数字社会的信任基石。唯有如此，AI大模型才能真正成为赋能社会的工具，而非传播虚假信息、瓦解信任共识的隐患。

往期回顾