谢童谈AI科学发现:先定怎样验证,再做实验

谢童团队正联合五个国家的实验室，做同一组化学实验：实验失败，究竟该查模型，还是查实验环境？

据圆桌整理稿，他主张把验证安排提前到实验开始之前：怎样算成功、由谁验证、换个平台怎样检验，都要事先考虑。这是一套实验组织原则，联合实验仍在开展，不能写成已经证明模型有效。

谢童给科学发现加了三项检验要求

据圆桌讨论整理稿，律动造物CEO、新南威尔士大学讲师谢童认为，在基准测试上排名第一，最多说明这是一个不错的模型。

要进一步证明模型做出了科学发现，他认为至少还需要三项要求：独立、前瞻、外推。

“独立”，是由开发者之外的一方完成验证。“前瞻”，是先提出预测，再用实验检验。“外推”，则要求给出的有效结果至少落在已知空间之外。

这三项要求，把评价对象从模型在既定考核中的表现，推进到了预测能否接受独立实验检验、能否在已知空间之外给出有效结果。它们是谢童提出的检验要求，不能理解为满足三项，就自动获得了“科学发现”的认定。

实验还没开始，先把验证规则定下来

“先预测、后实验”看起来只是一个时间顺序。谢童进一步提出的三条实验原则，把这个顺序落实到了具体安排里。

第一条，是在实验前确定验证标准和流程，而且这些标准不能随结果改变。

谢童用的说法是：“先画好靶子再射箭，不能射完箭再去画靶。”

这条原则改变的是“成功”在什么时候被定义。按他的主张，团队不能等数据出来后，再从中挑一个有利的结果，重新解释什么叫成功。预测要接受怎样的检验，应当在实验开始前就确定。

因此，阅读一项AI辅助材料研究时，除了看最后得到什么结果，还可以往前追一步：研究者提出预测时，是否已经明确了检验流程与成功标准？这是依据谢童主张整理出的阅读方法，不是对某个具体项目的判断。

第二条，是把提出结果的模型与检验结果的模型分开。

谢童并不排斥在检验中使用AI。他提出，表征和分析可以大量借助AI。但生成器与验证器，也就是负责提出结果和负责检验结果的模型，应当是两个模型，并运行在完全独立的环境里。

“换一个模型验证”与“由开发者之外的一方验证”，是两件不同的事。

前者说的是模型及其运行环境怎样安排；后者说的是验证方与开发者是什么关系。不能因为生成器和验证器已经分开，就认定验证主体也已经独立。反过来，讨论独立验证方时，也仍然需要说明生成与验证在模型层面怎样分工。

第三条，是开展跨平台复现，也就是把检验带到不同的实验平台，而不只停留在原有环境里。

这让验证多了一道具体门槛：一项预测在最初的实验环境中得到支持之后，还要接受换平台的复现检验。这里考察的已经不只是模型输出了什么，也包括研究结果能否在另一实验环境中接受检验。

三条原则合起来，安排的是验证的时间、模型之间的关系，以及复现的范围。它们没有与“独立、前瞻、外推”机械地一一对应，却共同把验证从结果出来后的一个步骤，提前变成实验设计的一部分。

五国实验室做同组实验，失败先分四层查

换个平台开展实验之后，如果结果不同，又该怎么判断？

据圆桌整理稿，谢童团队正联合五个国家的实验室开展同一组化学实验，目的是探明材料学实验的失败究竟来自模型，还是实验环境。这里的“五国”，指实验室所在的国家，并非五家实验室。

这项工作的关键，不只是把实验带到更多地方，还包括失败以后怎样查。

整理稿介绍，谢童团队在做材料化学真实实验基准时，将失败按由易到难的顺序分成四层：

• 执行层。
  例如原料批次不同。排查先从具体执行条件入手。
• 表征层。
  例如更换材料体系时，设备没有提前校准。
• 智能体层。
  按整理稿的举例，它可能调用了错误标准，使设计从起点就发生偏差。
• 模型层。
  这一层指向预训练数据存在问题，被列为最难排查的部分。

这些是团队的排查框架和举例，不能写成五国联合实验已经查明的失败原因。整理稿支持的是联合实验正在开展，以及团队希望排查什么；尚不能据此认定跨平台复现已经完成，或失败来源已经确定。

这个框架解释了，为什么一次实验没有得到预期结果后，不能直接把责任归给模型。

按它的划分，同样一个“失败”，需要检查的对象可能分别落在实验执行、测量分析、智能体调用标准，以及模型预训练数据上。如果跳过前面的环节，直接判断模型有效或无效，就没有完成这套框架要求的来源辨认。

这也不是替模型免责。逐层排查的作用，是让问题最终落到有依据的环节；如果证据指向模型层，就应当讨论模型层的问题，而不是用“实验环境不同”笼统带过。

评价一项AI材料研究，可以把“预测了什么”和“怎样接受检验”放在一起看；实验失败时，先问查到了哪一层，再讨论模型该承担什么结论。