AI投资研究(0&1)· 传统投资研究的三大困境

引言 为什么这本书不是在写代码

先说个背景。

市面上讲“AI+投资”的书，我看了不少。大多数可以归到两个类型。

第一类，全是代码。从pandas怎么装讲到LSTM怎么调参，翻到一半你就睡着了。这类书的问题是——你学了一堆工具，合上电脑还是不知道怎么用在投资上。你可能会装pandas、会调LSTM的参数，但你还是不知道怎么用来做投资判断。

第二类，全是概念。大谈“AI将颠覆投资行业”、“机器将替代人类交易者”。听着热血沸腾，但你问它怎么颠覆？什么具体方法？什么真实案例？它说不出来。

这本书走的是第三条路。

我们用真实的量化研究案例，讲清楚AI在投资研究里到底能干什么、不能干什么、应该怎么用。

我不跟你谈空泛的概念，也不跟你讲枯燥的代码。我跟你讲我们这二十多年做了什么、发现了什么、踩过什么坑。

素材从哪里来

我们这套研究的素材，来自一个持续了十年以上的量化研究体系。不是一个PPT或者一两篇论文，是一整套从代码到数据到文档的研究成果。我简单列几个数字：（以下数据均为历史回测结果，模拟交易存在局限性，过往业绩不代表未来表现）

▸ 12个独立策略研究方向（有的成功，有的失败）

▸ 回测区间最长跨越16年

▸ 单个策略用了648,738根1分钟K线

▸ 26个季度的实盘级别回测，超额胜率88%（历史区间测算，样本外表现可能存在显著差异）

▸ 90个期货套利对子的系统化监控

▸ 累计超过200万行回测数据

每个策略都有完整的文档：从研究思路、代码实现、回测结果，到失败分析和迭代记录。这些文档不是给外人看的——是我们自己在复盘时需要参考的。你会发现，我们记录失败案例的篇幅比记录成功案例的还要多。

但这本书不是要展示“我们多厉害”——恰恰相反，我们花了大量篇幅来讲“哪些地方失败了”、为什么失败、以及从失败中学到了什么。

因为失败的教训，往往比成功的经验更有价值。

这本书的三个公约

在开始之前，我们先定三个公约。你如果不同意，这本书可能不适合你。

第一：所有案例都跟“推荐股票”没有半毛钱关系。

我们不分析个股，不预测行情，不提供投资建议。你在这本书里看到的每一个案例，都是方法论的展示——告诉你“这个方法在历史上效果如何、局限性在哪、怎么改进”。至于这个代码今天该不该交易、要不要买——这不是这本书要回答的问题。

第二：方法比工具更重要。

我们用了很多AI工具——LightGBM、XGBoost、滚动训练、自学习机制。但这些工具不是重点。重点是我们为什么选择这些工具、怎么设计分析方法、怎么判断结果是否可靠、怎么从失败案例中学到东西。

工具会过时，方法不会。LightGBM可能被更好的模型替代，但“先验证再使用、先理解边界再信任输出”这个思维方式永远不会过时。很多人在做AI投资研究的时候，花太多时间研究最新的模型，却太少时间研究自己的数据和方法论——这是本末倒置。

第三：我们不鼓吹AI万能，也不贬低人的价值。

AI在处理海量数据、严格一致性执行、发现非线性关系方面有天然优势。但在理解因果关系、应对极端事件、做出定性判断方面，它远不如人。这两者没有高下之分——它们是互补的。整本书反复在讲的就是这个互补关系：AI做AI擅长的，人做人擅长的，各司其职。

写这本书的目的，不是让你成为AI专家，而是让你成为一个会用AI的投资研究者。这两者的区别在于：前者知道怎么调模型，后者知道什么时候该用模型、什么时候该相信自己的判断。

这本书适合谁读

这本书主要面向三类人：

第一类：有投资经验但不懂AI的人。

你已经做了几年投资，有自己的方法和体系。你对“AI能做投资”这件事半信半疑。你不需要学会写代码，只需要知道AI能帮你做什么、不能做什么。这本书不会要求你安装Python或者跑模型——所有案例都用你能理解的语言来讲。

第二类：懂AI但不懂投资的人。

你会调LightGBM，会用TensorFlow，但你发现在金融数据上做ML跟其他领域完全不一样——信噪比极低、非稳态、反身性。你需要理解投资领域的特殊挑战。这本书会告诉你：在投资领域做ML，你最先要学会的不是更强的模型，而是理解数据的特性和市场的逻辑。

第三类：既懂投资又懂AI的人。

你已经知道这两样东西可以结合，但你想看看真实的、完整的、有失败记录的量化研究案例——不是教科书里的Demo，而是真实研究过程中踩过的坑、绕过的弯、最终沉淀下来的方法论。你不是来找答案的——你是来找思路的。这本书会给你一个完整的从想法到验证到失败到改进的研究框架，你可以把它用在自己的研究上。

不管你是哪一类，这本书的核心信息就一句话：

工具就在那里，怎么用——取决于你。取决于你对自己的方法论有没有清晰的认知、对市场的理解有多深、对风险的控制有多严格。AI不会替你做这些决定，但它能帮你在做这些决定的时候看到更多、想得更远。

所以这本书不是在写代码，也不是在卖概念。它是一个经验手册——记录了我们在AI加投资研究这条路上踩过的坑、绕过的弯、想清楚的和没想清楚的东西。你把它当成一个工具箱来读：里面有一些方法你可能用得上，有一些失败案例你可能能避开，有一些悬而未决的问题说不定你能找到答案。

如果你刚接触AI投资研究，这本书能给你一个比较完整的起点——从核心概念到实战案例，从成功经验到失败教训。如果你已经在做AI投资研究了，这本书里的案例和方法论可能会给你一些新的启发——特别是那些失败案例和悬而未决的问题，说不定能帮你找到自己的突破口。如果你既懂投资又懂AI，那这些真实的量化研究全流程记录——从想法到验证到失败到改进——也许能帮你建立一个更完整的“从研究到实战”的框架。

如果读完之后你能在AI辅助投资研究这件事上少走一些弯路——这本书就没白写。

第一章：传统投资研究的三大困境

为什么AI来了是个好事情

先说一下背景。

我不是那种“AI要替代人类交易员”的鼓吹者，恰恰相反。从2001年我从业以来，A股市场已经经历了25年。这二十多年里，我亲眼看到一批又一批的学生从零基础成长为专业交易者。在这个过程里我一直在思考一个问题：决定一个人投资水平高低的，到底是什么？

是天赋吗？不是。我见过太多聪明人亏得一塌糊涂。

是对市场的了解程度吗？也不是。很多做了十年以上投资的人，一样在犯低级错误。

是我教给他们的那些方法吗？有一部分是，但真正让一个人持续盈利的，不是方法本身，而是他对方法的执行质量——是不是每次都按纪律止损、是不是每次都做了盘前计划、是不是每笔交易都算清楚了性价比。

但是，方法执行得再好，有些东西是绕不过去的。这二十多年来我越来越清晰地看到，传统投资研究有三个结构性的缺陷。这三个缺陷不是“做得不够好”的问题——你做得好也没用，因为它们是“人的生理和心理结构决定了的极限”。

你跑步再快，也跑不过汽车。这不是你训练不够的问题，是生理结构决定了。

同样，你再聪明、再用功，面对信息过载、认知偏差、经验局限这三座大山，你的投资研究质量就是有天花板。你突破不了这个天花板，不是你的问题——是人的问题。

理解这些缺陷，你才能真正理解：AI在投资研究里应该扮演什么角色，它不应该扮演什么角色。

好，一个一个说。

困境一：信息过载——你的大脑撑不住

先说一个最简单的数字。

一个A股交易者每天面对的信息量——

▸ 沪深两市5000多只股票

▸ 每个交易日盘口数据以百万条计

▸ 上市公司公告平均每天200+条

▸ 研报每天100+篇

▸ 各类宏观数据、行业数据

▸ 再加上新闻、社交情绪、龙虎榜、资金流向……

一个人一天的注意力总量，能有效处理的信息不超过几百条。剩下的怎么办？

要么靠经验做“信息过滤器”——这个我熟悉，那个不看了。但这个过滤行为本身就带着严重的认知偏差：你擅长什么，你就容易看到什么；你没经历过的事情，你可能直接忽略。

要么靠直觉做“快速判断”——看起来还行，感觉不错，买一点。但直觉判断在低信噪比环境里的准确率，跟抛硬币差不多。什么叫低信噪比？就是你在一间嘈杂的集市里想听清一个人说话——“信号”是他说的内容，“噪声”是周围所有的摊贩喊声。金融市场就像集市——每天几万亿成交额里，真正有预测价值的信号可能占不到1%，其余全是噪声。

你可能会说：我盯着几个核心指标就够了，不需要看那么多。这个思路没有错，但问题是——你怎么知道哪些指标是真正的“核心”？

让我用一个真实的研究案例来说明这个问题。

我们做过一个测试：沪深300股权溢价指数（ERP），公式是1/沪深300市盈率减去10年期国债收益率。这是一个很经典的宏观择时指标——ERP>6%时买入，ERP<3%时卖出。在沪深300上，这个策略的年化收益率大约20%。（历史回测结果，存在局限性）

好，现在我们把这个ERP过滤器加到IF（沪深300股指期货——你可以理解成把沪深300指数变成一个可以像股票一样买卖的合约，代码叫IF）的5日轮替策略上。结果呢？夏普比率——衡量“每承担一单位风险能赚多少超额回报”的指标，好比两个人月薪一样，一个天天加班累死、一个很轻松，后者的“性价比”更高，夏普就是这个性价比的数字——夏普提升了53%。效果显著，对不对？（历史回测结果）

然后我们把同一个ERP过滤器加到IC（中证500股指期货，对标中盘股、波动比IF大、弹性比IF强）的同一套5日轮替策略上。结果呢？夏普反而下降了50%。（历史回测结果）

同一个过滤器、同一套方法框架，换一个品种效果完全相反。

为什么？因为IF（沪深300）的驱动因素中，宏观预期占比很高。当ERP进入高估值区间时，意味着股票相对债券有吸引力，IF多头信号在这个环境下更容易兑现。但IC（中证500）的驱动因素更多是流动性和资金面——小盘股对宏观预期不敏感，对市场流动性和风险偏好更敏感。ERP过滤器在IC上不仅没有过滤掉噪声，反而把有价值的信号也筛掉了。

这个结论靠人的直觉猜不到。你得同时看到IF的16年数据和IC的11年数据，同时跑两套完整的回测框架（回测就是用历史数据模拟策略——好比足球队赛前看对手过去20场录像来研究对手打法，但录像不等于明天的比赛），才能发现这个差异。一个人很难同时处理这么多维度的信息——即使是专业的研究员，也最多同时跟踪两三个品种的几个核心指标。

但AI可以。它可以把所有数据、所有模型、所有回测结果放在一起，做系统性的对比分析。这就是AI在信息处理上的第一个优势——不是比人聪明，而是比人能同时处理更多的信息。

而且我再往深说一层。信息过载还有一个更隐蔽的后果：它逼着人做简化，而过度简化会导致错误的因果关系认知。

我举一个真实的例子。

你看过那些“技术分析入门”的书吗？它们通常会告诉你：MACD金叉买入、死叉卖出；KDJ低于20超卖、高于80超买。但你按照这些规则去交易，大概率是亏的。为什么？因为所有这些指标在发明的时候，基于的是几十年前的市场环境——交易量不同、参与者结构不同、信息传播速度不同。你把一个几十年前的简化模型搬到现在用，怎么可能有效？

但人的大脑在任何环境下都喜欢找简化模型。因为不简化，信息太多了，处理不过来。这就是信息过载的第一个连锁反应——让人过度依赖简化规则，而简化规则在复杂系统里几乎注定失效。

理解这一点就行了。

困境二：认知偏差——你的大脑还会骗你

信息过载还是“能力问题”——顶多就是处理得慢一点、漏掉一些信息。但认知偏差是“结构性问题”——你的大脑在信息处理过程中会系统地犯错，而且你自己意识不到你在犯错。

心理学上已经验证过的认知偏差有上百种，但在投资领域，有四个偏差最重要。

第一个：损失厌恶——亏1块钱的痛苦，是赚2块钱的快乐都抵消不了的。

卡尼曼和特沃斯基在1979年就证明了这一点。这在投资中的表现是什么？亏损多头寸不止损，等着它“回本”。

我见过太多人因此吃大亏了。一笔交易本来只亏5%——按3:1的性价比原则，这是完全可以接受的亏损。但他不割，觉得“还会涨回来的”。结果呢？5%变成10%，10%变成20%，等到跌到30%的时候，他已经不止是犹豫了，是彻底麻木了——“反正都亏这么多了，拿着吧”。

这就是损失厌恶从“小痛”变成“大亏”的心理路径。

第二个：确认偏差——你只愿意看到支持你观点的信息。

你买了一只股票，你就会找各种理由来证明它值得持有——同行的研报、行业的利好新闻、技术面的金叉信号。但那些不利的信息你看不见吗？

看得见。但你的大脑会自动给它一个很低的权重，或者在潜意识里把它解读为“暂时的扰动，不值得关注”。

举个假设的例子。2021年你重仓了一只新能源股票，成本在最高点附近。2022年开始大跌，跌了30%的时候你来找我讨论，我说你看一下估值——PE从80倍跌到了50倍，在这个行业里仍然不便宜。你说：但是业绩在增长啊。我说业绩增长是事实，但50倍PE已经消化了三年的增长预期。

你听不进去。因为你已经被确认偏差绑架了——任何对你说卖出不利的信息，你都会自动找到理由来反驳。最后那只股票跌了60%，你才忍痛割了。

第三个：过度自信——你以为自己比实际情况更厉害。

我见过太多这样的案例：模拟盘赚钱了，一上实盘就亏。为什么？

因为在模拟盘里，你面对的是“抽象的亏损数字”，你的大脑不会产生真实的恐惧反应。亏1万和亏1亿的区别，对模拟盘来说只是打字时少了几个零。但在实盘里，账户数字每往下跳一位数，你的心跳就加速一次，你的手心就会出汗，你的大脑会释放皮质醇——一种让你焦虑的激素。

在这种生理状态下，你会做出什么事情？本来该止损的，你犹豫了；本来该持有的，你卖早了；本来分批进场的，你一次性满仓了。恐惧会推着你做出违背计划的操作。

这就是为什么我一直强调：模拟盘盈利是必要条件，但绝对不是充分条件。 没有经过实盘的钱，你无法真正理解自己的恐惧水平。

第四个：羊群效应——别人做什么，你跟着做什么。

2020年的白酒医药、2021年的新能源、2023年的AI、2024年的红利——每一个都出现过“全民热捧→恐慌砸盘”的完整循环。

你回想一下2021年初的新能源——那个时候是不是“所有人”都在说新能源是未来十年的主赛道？是不是满屏的新能源ETF广告？是不是任何跟新能源沾边的股票都能涨？

当“所有人”都在谈论某件事的时候，最核心的信息已经被定价完毕了。你跟着买入，买到的不是“未来的高收益”，而是“过去的高收益”。这就是羊群效应的本质——你追逐的不是机会，是别人已经吃完剩下的。

说到这里，我想强调一个核心观点：

这四个偏差不是“缺点”，它们是人类上万年进化过程中写进基因里的生存本能。在原始社会，损失厌恶让你不去冒险（少冒险=活得久），羊群效应让你跟着群体走（不落单=不被野兽吃掉），过度自信让你敢于在不确定性中行动，确认偏差让你不会被大量互相矛盾的信息搞疯掉。

这些东西在原始社会的草原上有用，但在现代社会的金融市场里，它们是灾难。

AI没有这些本能。它不会因为亏损而痛苦，不会因为别人的意见而动摇，不会因为连续赚了三笔就过度自信，不会因为某只股票所有人都买而跟着追进去。

但是——这里有一个但是——AI没有情绪偏差不代表AI就是更好的交易者。 因为好的交易不仅仅是“不犯错”，还需要在市场极端环境下做出正确的判断。而AI在极端环境下的表现，我后面会专门讲——经常让人失望。

所以不要把AI理解成“一个永远不会犯错的交易者”。它的优势是不被情绪左右，它的劣势是在极端环境下完全没有判断力。

理解这点就行了。

困境三：经验局限——个人经验的更新速度追不上市场

信息过载和认知偏差，这两点是“先天不足”——人类大脑的硬件配置就不适合做高频信息处理。而经验局限，是“后天跟不上”。

A股市场从来不是稳定不变的。我列几个大的风格切换，你看看你经历过几个：

▸ 2005-2007年：股权分置改革牛市。谁手里有大盘蓝筹谁赚钱。当时最流行的一句话是“买什么都涨，关键是敢不敢买”。

▸ 2009-2014年：四万亿刺激后的震荡修复期。市场从2008年的暴跌中慢慢恢复，但结构分化极其严重。买对了股票翻倍，买错了股票继续腰斩。

▸ 2014-2015年：杠杆牛。场外配资泛滥，融资余额从4000亿涨到2万亿以上。中小盘股票涨得让人怀疑人生——你买对了大盘股可能还跑不赢小盘垃圾股。

▸ 2016-2020年：外资驱动的核心资产重估。茅台从200涨到2600，核心资产的“确定性溢价”成为了最大的alpha来源。

▸ 2021-2022年：新能源和周期股的狂欢与泡沫。芯片荒、锂矿涨价、新能源补贴——产业周期主导了一切。

▸ 2023年：AI概念爆发。大模型、算力、应用——凡是跟AI沾边的股票都能涨个50%。

▸ 2024年：红利股成为主流。在低增长、低利率的环境下，高股息策略获得了前所未有的关注。

每次风格切换，都会淘汰一批“靠上一个风格赚钱”的交易者。那些在2015年靠做小盘股暴赚的人，在2017年的核心资产行情里可能亏得只剩底裤。那些在2021年疯狂追新能源的人，现在可能还在回本的路上。

为什么经验在快速贬值？

我打个比方。你开了十年车，从夏利开到宝马，你积累了丰富的驾驶经验——知道什么路况挂什么挡，知道哪些路段容易堵车，知道什么时候该提前变道。但这些经验放到自动驾驶上，有没有用？有用，但远远不够。因为自动驾驶面对的是一个完全不同的问题——它不是在“开这辆车”，而是在“理解整个交通系统”。

同样的道理。一个交易者从业10年，经历过两轮牛熊，他会觉得自己很有经验了。他的经验会告诉他：牛市来了赶紧买、崩盘来了赶紧跑。

这个经验在历史上管用吗？管用。但放在2024年的市场里呢？2024年的市场跟2005年完全不同——注册制改革已经落地、量化交易占据了A股30%以上的交易量、外资占比从不到1%提升到了5%以上、散户的结构也在变（年轻人更倾向于买ETF而不是炒个股）。

历史不会简单重复。这个经验的有效期在缩短。

更致命的问题——经验其实是“样本量太小的统计结论”。

一个交易者从业20年，经历了5轮牛熊转换——听起来很牛，对吧？但从统计学角度来看，这就是5个样本点。用5个样本点去拟合一个高维、非线性、非稳态的复杂系统，拟合出来的是什么？不是市场的规律，是你自己的“故事”。

你把这些故事讲给自己听，告诉自己“这就是市场的本质”。然后下一次遇到类似的行情，你按照故事里的剧本去做，结果发现这次完全不一样。因为“这5个样本点”不是从同一个分布里随机抽样得到的——每一次牛熊转换背后的驱动因素都不同：2008年是次贷危机，2015年是杠杆崩塌，2024年是通缩预期。

为什么AI在这方面有优势？

因为AI的“经验”来自海量数据——远比任何一个人的从业经历多。

在我后面的案例章节里你会看到：IC的5日轮替策略用了648,738根1分钟K线来训练，相当于11年不间断的市场数据。IF的策略用了976,070根K线，跨度16年。这些数据里包含了市场在不同宏观环境、政策背景、流动性条件下的表现——牛、熊、震荡、暴涨、暴跌、横盘，什么都有。（上述回测均基于历史数据，存在局限性）

而且AI可以持续更新——用滚动训练的方式，最近20天的数据就重新拟合一次模型。当市场风格从新能源切换到AI时，AI的模型会自动调整它的特征权重。

但还是要提醒一句：AI的“经验更新快”不等于它的经验就可靠。 当出现历史上从未出现过的极端事件时——比如2015年“千股跌停+连续熔断”——AI也没有相关的经验。它的训练数据里没有这种东西，它不知道该怎么处理。

所以AI可以弥补个人经验在“量”上的不足，但在“质”上——在理解极端事件、在构建因果关系上——它还不如人。

三困境的叠加效应

好，讲完了三个困境。但最有意思的不是这三个困境本身，而是它们之间的叠加效应。

你注意看它们是怎么互相强化的：

第一步，信息过载逼着你做简化——你无法处理全部数据，所以你只能依赖几个核心指标、几条经验法则。本来这个简化也问题不大，如果简化规则是好的话。

但问题在于第二步——认知偏差让你在筛选信息和判断指标重要性的过程中，做出系统性的错误选择。你选的都是你熟悉的、支持你观点的、让你感觉舒服的指标，而不是真正有预测能力的指标。

然后第三步——经验局限让你的错误判断得不到及时修正。因为你积累的是“基于错误选择得到的经验”，这些经验本身就是有偏差的。你用这些经验去指导下一次判断，然后又陷入同样的偏差里。

你看这个循环：

这就是为什么有些做了十年投资的人，水平并没有比刚入市的新手高多少——不是他们不努力，是他们被困在这个恶性循环里不自知。他们以为自己在积累经验，实际上只是在不断强化同样的认知偏差。

所以，AI能做什么？

注意我的措辞——不是“AI能解决什么”，是“AI能做什么”。

这三个困境，AI不能“解决”。

信息过载？AI能帮你处理更多数据、跑更复杂的模型，但它不能帮你判断哪些数据是真正重要的。如果你给AI输入了错误的数据或者错误的目标变量，它的输出再漂亮也是垃圾。

认知偏差？AI没有人类偏差，但它有自己的偏差——过拟合偏差（在历史数据上表现完美但在新数据上失效，就像学生把加法试卷全部背下来考了满分，但换个加法卷子反而不会了——他把试卷当成了规律）、幸存者偏差（只看到了存活下来的股票没看到消失的）、数据污染偏差（训练数据里混入了未来信息）。这些偏差跟人类的偏差不一样，但同样会导致错误的结论。

经验局限？AI可以用海量数据训练，但它在极端事件面前毫无经验。它不知道2015年股灾意味着什么，不知道2024年政策逆转对市场的影响有多大。

那AI到底能做什么？

我的答案是这三个方面：

第一，它帮你从信息过载中提取出有统计显著性的信号。 你不是处理不了5000只股票和100万个盘口数据吗？AI可以。它不需要“简化”，它可以用复杂的模型直接处理全部数据，然后给你一个信号——“根据历史数据，这个条件下买入的胜率约60%，预期收益约X%”。至于要不要买，你决定。（历史测算，模拟结果存在局限性）

第二，它帮你绕过认知偏差，用一致的方法执行策略。 你会在恐惧时犹豫、在贪婪时冲动，AI不会。如果你给AI设定了一个规则——“当条件A满足时买入，条件B满足时卖出”——它在每一次都会严格执行，不会有任何情绪波动。

第三，它帮你用海量数据弥补个人经验的不足。 你一个人一辈子最多经历五六次牛熊转换。AI可以在几分钟内跑完16年的历史数据，模拟数十万种市场情景。它在统计意义上的样本量，远大于任何一个人的经验积累。

但前提是——你要知道怎么用它。你要知道它的边界在哪里。你要知道什么时候该信任它的输出，什么时候该质疑。你要知道怎么把它的能力嫁接到你的投资研究框架里，而不是反过来被它牵着走。

理解这点就行了。

投资顾问陈凯，投顾编号：S0400622120002。

风险提示：文中数据均来源于交易所公开数据、公开学术文献或作者团队的独立研究成果。历史数据不代表未来表现。以上内容仅作为投顾个人观点，不代表财达证券的立场。我们力求内容及观点的客观公正，但因投顾人员认知所限及不可避免的市场风险和不确定性而可能存在局限性。本章涉及所有数据、计算、回测结论仅为学术研究和民间投资者经验总结的常见做法，不同投资者、不同时间窗口下的最优阈值存在显著差异。此内容仅供学习交流、研究参考与思路启发之用，不构成任何投资建议或宣传推介。 投资决策由投资者自行作出，投资风险由投资者自行承担。本文涉及的股指期货（IF、IC）等衍生品策略属高风险投资品种，采用保证金交易机制、杠杆较高，可能导致本金大幅亏损乃至全部损失，仅供投资者教育及研究参考之用，不构成投资建议。市场有风险，投资需谨慎。