7.5万星的Karpathy让AI自己跑实验,睡一觉醒来看结果——这招不能炒股

前几天，OpenAI前研究总监Karpathy开源了一个叫autoresearch的项目，GitHub上7.8万星。

这东西干嘛的？一句话：让AI自己做研究。

你给它一个小型AI训练环境，它自己改代码、跑5分钟实验、看效果有没有变好——好就保留，差就丢弃。然后继续。你睡一觉起来，它跑了100个实验，而且模型真的变好了。

最精妙的设计是：人不碰代码。人只编辑一个叫program.md的文件——用大白话告诉AI“你接下来往什么方向试”。相当于你在“编程”一个研究团队的工作方向。

看到这里，做量化投资的人应该会心跳加速：

如果把训练代码换成回测框架，让AI一晚上跑100个策略变体……

我花了整整一个session，跟自己辩论了七轮，得出了一个可能让人失望的结论。

三个条件缺一不可：

1、评估指标不会骗你。 AI训练有一个叫val_bpb的指标，在验证数据上降了就是真的降了。指标诚实，自动化才有意义。

2、反馈够快。 每个实验固定5分钟。一小时跑12个，一晚上100个。

3、不需要人判断。 好就留，差就扔，机器自己决定。

一个字：评估指标会骗你。

回测Sharpe提高了 = 大概率过拟合。

这不是耸人听闻。学术界一直在喊这件事，但很少有人拿自己的实盘数据说。我拿我的说：我们有一个策略，原始回测年化36%，看起来完美。但用walk-forward（滚动窗口前向验证）一测，只剩年化8.8%。差距的那27%，全部是“偷看了未来数据”造成的幻觉。

这就是金融数据和AI训练数据的根本区别：

AI训练数据量大（几十GB），过去和未来的分布基本稳定。
金融数据量极小（20年日线也就5000个点），而且市场会变脸——牛市、熊市、危机，每个阶段的“规则”都不一样。

所以你在一个会骗人的评估指标上跑自动化循环，跑得越多，过拟合越严重。 这不是工程问题，是这个领域的天然属性。

第一轮，我想加实验日志——抄了格式没抓精髓，35分。

第二轮，自动对比分析——方向对了但记录会腐烂，55分。

第三轮，做一个配置化的回测框架——在造轮子，市面上Optuna早就做了，65分。

第四轮，用它来自动挖因子——统计学的多重检验问题会杀死你，试200个因子，校正后几乎什么都不显著，80分。

第五轮，设计更可靠的评估函数——想用工程绕过统计学，绕不过，88分。

第六轮，让人留在循环里做判断——那跟现在有什么区别？autoresearch的核心优势（无人值守）没了，92分。

第七轮，我终于找到一个真正合适的场景：不测“策略好不好”，测“策略在什么条件下会崩溃”。

“崩没崩”是一个非黑即白的判断，不存在过拟合问题。让AI自动生成各种极端场景（数据缺失、涨跌停、流动性枯竭），测策略扛不扛得住。这个可以无人值守跑一整晚。

但说实话，这是防守型工具，不是进攻型的。它让你睡得更安心，但不能帮你多赚钱。

Karpathy的autoresearch和量化投资的适配度大概六七成，不是九成。但有三样东西值得立刻拿走：

1、让回测自动告诉你“什么参数不值得再调”。 不是只给一个排行榜，而是自动对比：这个参数从0.4调到0.7，Sharpe只动了0.02——那就别在这上面浪费时间了。

2、简洁性原则。 Karpathy的规则：如果删掉一段代码，效果一样好，那就是进步。同样的道理：同样的收益，参数越少的策略越值得信赖。

3、每轮实验后写三行结论。 不写过程，只写：甜区在哪、死胡同在哪、下一步往哪走。五秒钟的回顾，能省几小时的重复劳动。

这次七轮自我辩论，最有价值的不是某个方案，是三句话：

工具的天花板，由评估指标的可信度决定。 指标不可信，工具再花哨也只是在更快地放大噪声。

Alpha来自好的想法，不来自更多的实验。 工具能提升效率，但替代不了思考。

最高回报的改进，往往是最小的。 改2小时输出格式 > 花2天造框架 > 花2周做自动化系统。

Karpathy做了一个漂亮的工程作品。它对我们最大的启发不是去抄它的循环，而是理解它为什么work——然后诚实地承认，我们的领域差在哪。

想看完整的七轮battle过程和实盘数据？⬇️