夜雨聆风砖家的AI科研指导、建模培训班、论文指导培训班已经开通，欢迎大家加入学习。
砖家有代建模与论文，也有1V1全程指导。想学习系统动力学，建模、课程、论文、咨询都可以找砖家。
现在有两个公众号，分别是专门讲系统动力学和AI学术科研的。
砖家V: zhuanjia89757
在人工智能快速进入科研流程的背景下，科学发现并不只受理论和数据限制，也常常被写实验软件这个环节拖慢。很多科研任务需要研究者反复写代码、跑实验、调参数、比较方案，过程耗时且高度依赖专家经验。尤其是在单细胞组学、疫情预测、时间序列预测、遥感影像分析、神经科学和数值计算等领域，只要任务可以被明确打分，就可以把科研软件开发转化为一个不断试错、不断优化的过程。
1、这个 AI 系统是如何自动写出高水平科研软件的？
它的基本逻辑不是一次性让大模型写一段代码，而是把科研软件开发变成一个可评分的搜索过程。研究者先定义任务、数据和评价指标，比如预测误差、排行榜得分、批次校正效果等；系统再让大语言模型生成候选代码，并在沙箱环境中运行，得到一个客观分数。之后，树搜索算法会根据已有代码节点的得分和访问次数，选择最值得继续改进的代码版本，让大模型在此基础上继续修改，从而形成一棵不断扩展的候选代码树。
这种方法比普通让AI写代码更强的地方在于，它可以反复试错、回退和分支探索。当某条改进路径停滞时，系统不会只停留在当前代码上，而是可以回到历史上表现较好的节点继续尝试。它也不同于简单的 Best-of-N 随机生成，因为它不是盲目生成大量代码后挑最好的，而是根据分数反馈有方向地搜索。研究中还专门比较了 ERA 与 Best-of-N，结果显示树搜索在多数模型和任务上更有效。
2、研究中具体用了哪些方法来提升系统性能？
研究采用的方法比较完整，既包括代码层面的自动优化，也包括研究思路层面的知识注入。代码层面主要是大语言模型改写代码、代码沙箱执行、质量指标评分、PUCT/UCB 树搜索、节点排序、探索—利用平衡和多轮迭代优化；知识层面则包括专家建议、论文方法摘要、搜索引擎结果、教材知识、Gemini Deep Research、AI co-scientist 生成的新想法，以及把两个已有优秀方法进行“思路重组”的方法。比如在单细胞任务中，系统复现和改进了 BBKNN、ComBat、Harmony、LIGER、Scanorama、fastMNN、mnnCorrect、SCALEX、scVI、TabVI 等方法；在疫情预测中，则复现和重组了自回归模型、机器学习模型、流行病学模型和气候基线模型等。
在不同任务中，研究还配套使用了不同验证和建模方法。单细胞分析使用 OpenProblems 基准、独立训练集和验证集，并结合 Optuna 做超参数优化；疫情预测使用滚动验证窗口和加权区间得分 WIS；时间序列预测使用 GIFT-Eval 和 MASE 指标，并分别构建了“每个数据集单独搜索”的方案和统一预测库方案，后者包含缺失值填补、log变换、基准水平、趋势、季节性、日期/节假日特征和残差校正等模块。此外，研究还使用 Gemini 嵌入模型和余弦相似度分析不同代码方案的概念分布，以观察系统是否真正探索了多样化解法。
3、这个系统的有效性是如何验证的？
研究没有只依靠单一案例来证明系统有效，而是把它放到多个公开、可评分、竞争性强的任务中测试。首先，在 Kaggle Playground 任务中，系统与单次大模型调用、Best-of-1000、大模型代码探索工具等进行比较，结果显示树搜索方法具有更好的平均排行榜表现。随后，在单细胞 RNA 测序批次整合任务中，系统在 OpenProblems 基准上与已有公开方法比较，并使用独立数据集优化，避免直接对测试集过拟合；在 COVID-19 住院预测任务中，研究采用滚动验证方式，用前一阶段数据选择模型，再预测后续时间段，最后与 CovidHub Ensemble 和多个专家团队模型比较。
此外，研究还进行了人工检查、消融分析、方法复现比较、重组方法比较、嵌入相似度分析和 Best-of-N 对照。人工检查用于判断系统生成的代码是否真的遵循了指定算法；消融分析用于判断关键模块是否真正贡献了性能提升；Best-of-N 对照用于说明性能提升并不只是大量生成后碰运气。从结果看，系统不仅能生成可运行代码，还能在多个领域中发现比已有方法更优的组合策略，因此更像是一种面向可评分科研任务的自动化方法探索工具。
END
我是系统动力学砖家，一个用模型解释社会、经济现象的砖家。
砖家的AI科研指导、建模培训班、论文指导培训班已经开通，欢迎大家加入学习。
砖家有代建模与论文，也有1V1全程指导。想学习系统动力学，建模、课程、论文、咨询都可以找砖家。