谷歌最深的恐惧不是 AI 作恶

每日学习： 第307天

播客： From deepfakes to DNA: the science of watermarking AI

很多人聊 AI 风险，脑子里过的都是同一种画面：假视频、假录音、换脸直播，骗你妈转账。这确实是问题，欧盟都已经立法了，欧盟境内所有生成式 AI 内容必须带水印。

但 Google DeepMind 最新一期播客聊的东西，让我意识到这个画面本身就是偏的。主持人 Hannah Fry 对面坐着两个人，一个是 Pushmeet Kohli，DeepMind 的科学副总裁，SynthID 水印系统的架构师；另一个是 Jeremy Ratcliffe，生物安全研究员，刚把同一套水印技术搬进了蛋白质设计。

注意 Pushmeet 这个身份。他是这套方案的亲爹，他出来讲水印有多重要，这话得掂量着听，我后面会讲为什么。

先说清楚水印是个啥。不是图片右下角那个 logo，那玩意 PS 五分钟就没了。SynthID 的思路是在生成的那一刻就动手脚：大语言模型写每个词的时候，内部都有一张候选词表，每个词带概率。很多位置上有好几个词差不多都合适，选谁都行。水印做的事，就是用一把秘密钥匙，在这些可选位置上悄悄带倾向，多选某一类词。单看一句话什么都看不出来，但一段文字攒下来，统计模式就出来了。拿着钥匙的人一扫，就知道这段东西是不是 AI 生成的，甚至能分清是哪个模型生成的，前提是各家用不同的钥匙。

图像更直接，一个神经网络负责往像素里注入人眼看不见的微小改动，另一个神经网络负责检测，中间还放一个对抗 agent 专门搞破坏，裁剪、压缩、旋转、加噪，什么都来。两个网络对着练，练到不管中间怎么折腾，检测器都认得出。

这套东西已经铺出去了。英伟达在用，OpenAI 也在用，Gemini 的 app 里你现在就能上传一张图问它这是不是 AI 做的。伊朗战争期间、加州大火期间，都有记者拿流传的图片跑 SynthID，验出来是 AI 生成。

好了，以上是网上那一摊。接下来才是这期播客真正值钱的部分。

Jeremy 讲了另一件事。生物界有一种公司，你可以叫它 DNA 印刷厂。你在线上填一段序列，下单，付款，快递公司把一管真实的 DNA 寄到你手上。你的项目要蛋白质，它给你把编码那段蛋白质的基因合成出来，冻干粉或者溶液，随便你拿回去表达。这门生意已经很成熟了。

这个环节是有安检的。印刷厂收到订单，先核你身份，是不是真有个大学实验室，收货地址是不是真的一栋楼。然后把你要合成的序列拿去比对，比对一个病原体数据库，里面装着已知的危险序列。对上了，要么拒单，要么回来问你资质。

听起来还行，对吧。

问题来了。AI 蛋白质设计模型，可以生成一条氨基酸序列，和数据库里所有已知危险序列都对不上，差得十万八千里。但它折叠出来的三维结构，和某个毒素、某个危险蛋白，是同一个东西。

序列层面清白得像张白纸，功能层面是颗子弹。

现有的安检，查的是序列的"长相"，不是序列的"结局"。这就像机场的安检仪只会认"长得像枪的金属块"，有人把枪的零件拆散了、用 3D 打印重新排布，安检仪就放行。你甚至可以把一段会被拦的序列，剪碎了拼进一段无害序列里下单，收到货自己在实验室里再拼回去。这是 Jeremy 在播客里原话讲的操作路径，不是我编的。

这就是为什么水印要进蛋白质。SynthID Bio 干的事，是在 AI 模型生成蛋白质序列的时候，利用氨基酸之间的可替换性（有些氨基酸性质接近，换了不影响折叠，比如亮氨酸和异亮氨酸），在这些可换的位置上按秘密钥匙做带倾向的选择。生成的蛋白质功能不变，但序列里埋了一段只有拿钥匙的人才能读出来的出身证明。

印刷厂收到订单，除了查数据库，多一步：扫水印。这单子是不是 AI 生成的？是哪个模型生成的？如果是，那好，AI 模型自带安全护栏，这条序列经过了护栏约束；如果不是，或者来自一个没水印的野模型，那就得打起精神多查一轮。

最关键的一句：他们真的把水印蛋白做出来了。不是仿真，是湿实验，真合成的蛋白质，测了结合率，有水印的和没水印的，数据几乎一样。Jeremy 自己说他之前都有点怀疑能不能成，结果好得超出预期。

这套东西如果铺开，意味着什么？意味着 AI 风险讨论的主战场，从"你刷到的视频是不是真的"，挪到了"你下单合成的那段 DNA 是从哪来的"。前者输了最多是舆论污染，后者输了是物理世界的麻烦，一个灭绝了的流感病毒，理论上可以被 AI 重新设计出来，再通过正规商业渠道邮到家。

现在说说开头埋的那句话。Pushmeet 是 SynthID 的架构师，他坐在这期播客里，本身就是一个立场。谷歌是全球最大的 AI 生成方之一，现在它同时想成为"AI 内容验真标准"的提供者，这里面有实打实的商业利益和卡位诉求，谁的钥匙体系成为行业标准，谁就是未来所有 AI 内容的隐形海关。

这个动机是真的。但他讲的那些工程事实可以单独成立，不用为他的叙事挤水分。DNA 印刷厂的筛查漏洞是真实存在的，序列空间和折叠结构的脱钩是真实的生物学问题，湿实验数据是他们发在论文里的。而且有一个细节值得注意：谷歌自己不开 DNA 合成服务，SynthID Bio 的代码开源，标准制定权他们说让渡给行业。一个真想垄断闸口的人，不会是这个打法。

真正的问题其实更深一层。你回头看这套系统：生成内容的是谷歌，往内容里埋水印的是谷歌，保管检测钥匙的还是谷歌。你想知道一张图、一段文字、一条蛋白质序列是不是 AI 造的，得拿谷歌的钥匙去验。也就是说，运动员自己兼任裁判。如果有一天谷歌不想守规矩，生成了一批不埋水印的东西，或者让检测器把"是"说成"不是"，谁能发现？没有第二个渠道。一家银行自己印钞、自己验钞，你拿张假钞去问它是真是假，它说真就是真。

所以这个问题是绕不开的：谁来水印谷歌？这期播客没有答案，也不可能有答案，因为这不是技术问题，是权力结构问题。你再找一个机构来验谷歌，那个机构的钥匙又归谁管？往上找一层，还是同一个问题。现实里能走的路只有一条：让几家互相竞争的公司各自保管各自的钥匙，互相验对方的，谁也别想一家说了算。这思路播客里开了个头，离落地还远。

最后泼一盆冷水，这盆冷水还是 Pushmeet 自己泼的。主持人问，系统越通用，规则越透明，会不会越容易被针对性破解。他说是的，这是非常现实的风险。水印的终极目标是让移除水印的代价高到你必须破坏功能本身，你要抹掉出身证明，就得把蛋白质改到没法用，把图片改到没法看。能不能做到这个程度，现在没人知道。

所以水印不是终点。它只是把造假的成本抬到不划算，让坏人得付出比收益更高的代价。在现实世界里，这已经不是"退而求其次"，这已经是防线能给的最好答案了。

物理世界从来就没有过百分百的安检，机场没有，银行没有，DNA 印刷厂也不会有。你能做的只是让每一道安检都比绕过去便宜一点。理解了这个，你就理解了为什么一群做 AI 的人，最后会跑去研究氨基酸的侧链构象。