夜雨聆风
导言
如果说过去，金融市场的波动很大程度上来自人类的判断、情绪与策略互动，那么当越来越多交易开始由人工智能（AI）驱动时，市场的交易行为与监管逻辑会发生怎样的变化？
这一问题的关键，不在于 AI 是否会参与交易，而在于不同类型的 AI 会如何交易。更进一步说，在什么样的市场环境中，什么类型的 AI 更容易形成协同、放大价格波动，而金融监管者又应如何应对？
在罗汉堂此前举办的《罗汉论道》活动中，宾夕法尼亚大学沃顿商学院金融学副教授窦炜，在演讲的下半部分围绕上述问题分享了研究的核心发现。他指出，在动量交易者较多的市场环境中，具备前瞻性规划能力的 AI，即便只掌握有限市场信息，也可能在反复交易中学会复杂的跨期策略：先推动价格偏离基本价值，吸引追涨的动量交易者进入，随后在高位退出获利。
相比之下，依赖即时反馈的反应式学习系统，则难以形成这种稳定协同。这一对比说明，AI 交易的风险并不简单来自 “自动化” 本身，而来自不同学习机制在市场互动中的演化结果。
在演讲最后，窦炜教授提出了一个值得监管者思考的方向：未来金融监管未必只能着眼于理解和限制具备前瞻性规划能力的 AI 交易系统，也可以考虑用更依赖即时反馈的反应式学习系统去扰动前者之间形成的协同，遏制泡沫的形成和放大，从而稳定金融市场。
以下是窦炜教授演讲中译全文的下篇：
窦炜（宾夕法尼亚大学）
01
多类型投资者与市场价格形成机制
前面我比较了两种机制：一种是具备前瞻性规划能力的 “AI 规划”，另一种是主要依赖即时反馈的 “反应式学习”。接下来，在进一步讨论它们会产生什么交易行为之前，我想先介绍这篇论文的实验环境和理论基准。
简单来说，我们的模型包含很多轮交易。每一轮交易又分为四个阶段。市场中有一种长期风险资产，它会在未来支付股息（pay dividends），这里的说的 “风险”，主要来自股息本身会受到随机信息冲击的影响。
我们还假设市场的利率是一个固定常数，因此可以用标准的贴现方法，把未来收益折算成当前的 “基本价值”。与此同时，资产股息会随着时间变化，并受到两类随机冲击的影响。这两类冲击彼此独立，但出现的时间不同：第一类冲击会在每轮交易的第二阶段被市场看到，第二类冲击会在第三阶段出现，而资产股息则会在第四阶段正式支付。
也就是说，在一轮交易中，市场会随着信息逐步释放，不断更新对资产价值的判断。基于这些设定，我们就可以计算出这项资产的基本价值，也就是由未来现金流和相关信息共同决定的理论价值。
在这个市场中，我们设定了四类投资者。
第一类，是数量很多的低频、风险中性投资者。他们不能随时交易，只能在每一轮交易的开始和结束时参与。由于这类投资者数量很多，而且主要关心预期收益，而不是价格波动本身，所以他们的交易会使市场价格在每轮交易的起点和终点，基本被锚定在资产基本价值附近。
第二类，是少数具有信息优势的大型投机者。你可以把他们想象成大型量化对冲基金或类似的专业交易机构，比如 Two Sigma、Point72 或 Citadel。它们不是普通交易者，而是有足够市场影响力的大型参与者。它们会在其他投资者之前看到某些私有信息，并据此在一轮交易中间的两个阶段选择交易策略。
第三类，是大量正反馈投资者，也可以理解为动量交易者（momentum traders），也就是俗称的 “追涨杀跌型交易者”。他们并不太关心资产基本价值，而主要根据价格变化来交易：价格上涨，他们就进一步买入；价格下跌，他们就跟着卖出。
第四类，是受约束的套利者。我们假设这些套利者理性且聪明，但也受到约束。他们能够发现市场价格和资产基本价值之间的偏离，并通过反向交易试图纠正这种错误定价。但他们的资金或交易能力有限，不能无限制地买入或卖出。因此，市场价格最终会由各类投资者的交易需求共同决定。
02
市场中的竞争、垄断与协同操纵
基于前面提到的四阶段交易框架，下图进一步展示了信息在每一轮交易中是如何逐步释放的：不同阶段中，投资者能够看到哪些信息，以及市场价格如何随之变化。
图中的黑色线条主要用来说明市场价格和资产基本价值的动态关系。简单来说，在每一轮交易的开始（h=0）和结束（h=3），市场价格都会回到资产的基本价值，也就是说，在这两个时点上，并不存在明显的错误定价。
真正可能出现价格偏离甚至市场操纵的，是中间两个阶段，也就是 h = 1 和 h = 2。在这两个阶段中，AI 的交易行为才有机会真正影响市场价格，使其偏离基本价值。
接下来，我会简要介绍三种理论基准，用来对比不同市场结构下的交易行为。
第一种，是没有合谋的竞争性市场（non-collusive Nash equilibrium）。在这种情况下，交易者各自行动、彼此竞争，不形成协同或合谋。理论上，这对应非合谋的纳什均衡，也就是竞争性均衡。
第二种，是完全卡特尔情形（perfect cartel），也可以理解为垄断式均衡。市场中的大型投机者仿佛作为一个整体行动，就像只有一个非常大的交易者在操纵市场，并利用动量交易者的追涨杀跌行为获利。
第三种，也是最值得关注的，是介于二者之间的具备规划能力的协同均衡（collusive equilibrium with planning）。在这种情况下，多个交易者既不是完全竞争，也不是由一个垄断者统一行动，而是通过前面提到的复合型价格触发策略，维持某种协同操纵。
03
从竞争到合谋：交易行为如何分化？
接下来，让我们看一下交易流量的变化。
在动量交易者较少的市场环境中，几条线几乎重合。这说明，当市场里追涨杀跌的交易者不多时，可被操纵的空间本来就很有限。因此，无论是竞争性交易、垄断式操纵，还是协同操纵，三种情形下的交易行为看起来都非常接近。
也就是说，市场是否容易被操纵，关键取决于动量交易者的多少。只有当这类追涨杀跌的投资者足够多时，AI 或大型交易者才有机会利用他们的行为，把价格推离基本价值。
因此，当我们切换到一个动量交易者较多的市场环境时，竞争性交易、垄断式操纵和协同操纵下的交易行为就开始明显分化。
在竞争性交易情形下，交易行为相对平稳，因为交易者并没有进行市场操纵。而在垄断式操纵情形下，大型交易者会利用动量交易者的追涨行为，在前期激进买入，把价格推离基本价值；随后再逐步卖出，把资产卖给追涨买入的动量交易者，并从中获利。之后，价格会逐渐回归基本价值。
协同操纵则介于二者之间：它不像竞争性交易那样平稳，也不像垄断式操纵那样由一个主体统一行动，而是多个大型交易者通过某种协同机制，共同推动价格偏离基本价值，并在后续阶段退出获利。
我们再看图中的 D 区域，也就是价格变化图。在这个区域里，绿色线表示资产基本价值的变化。可以看到，资产价格随着时间变化比较平稳。红色线表示竞争性交易情形下的价格变化，也同样比较平稳。
但是，如果看协同操纵和垄断式操纵情形，情况就不一样了。我们可以清楚地看到，价格先被明显推高，形成较大的泡沫；随后又快速回落，出现类似崩盘的过程。这就是我们所说的市场不稳定性。当然，这一部分还只是理论基准结果。
04
AI 规划究竟是如何制造金融泡沫的？
接下来，我们进一步进入模拟实验。我想强调一下，研究实验是在前面那个总体框架下展开的，只是我们为这个框架设定了一些更具体、也比较合理的参数。比如，在实验中，交易收益被定义为交易数量乘以价格变动，也就是说，价格变化越大、交易规模越大，收益或损失也就越明显。
那么，AI 在做决策时能够看到哪些信息呢？
我们假设它的 “状态变量（state variables）” 主要包括三类信息：过去的市场价格、过去已经获得的信息，以及当前刚刚出现的新信息。换句话说，AI 并不是掌握市场的全部信息，而只是基于一个相对有限的信息集合在进行决策。
但有意思的是，我们的结果表明，即便是在这样一个信息受限的环境中，AI 依然足以学习出非常复杂的交易行为，并从中获得大量利润。同时，这种利润往往是以其他市场参与者的损失为代价的，并可能带来显著的市场不稳定性。
至于实验中的一些具体参数设定，这里我们就不逐一展开，接下来直接来看模拟结果。
大家可以看到，我这里展示的是一种动量交易者很多的市场环境。也就是说，市场中有大量追涨杀跌的投资者。在这种环境下，带有 AI 规划能力的 Q-learning 确实表现出了制造泡沫的行为。
这些 AI 会在一开始非常激进地交易，把价格推高；随后，再把手中持有的资产卖给那些跟风买入的动量交易者，并从中获得大量利润。
为了进行比较，图中的红线仍然表示竞争性交易的理论基准。可以看到，带有 AI 规划能力的 AI 交易行为明显不同：它们先是激进买入，把价格推高；随后又快速卖出，退出交易。
相比之下，反应式学习的结果不一样，也就是图中的黑色虚线。它们的交易行为相对平稳，无法制造泡沫。
为了看得更清楚，我们再看图中的 B 区域，也就是资产价格的变化。绿色虚线是最平稳的，表示资产的基本价值；红色曲线表示完全竞争情形下的价格变化，而蓝色实线则表示 AI 交易系统形成协同之后的价格路径。
可以看到，在 AI 协同交易的情形下（蓝线），价格会被明显推高，远远偏离资产的基本价值，形成泡沫，并进一步把泡沫推大。随后，价格又快速回落，形成类似崩盘的过程。这种价格大幅偏离再快速回落的动态，正是本文所说的金融市场不稳定。
通过这种方式，AI 能够获得大量利润。图中的 C 区域进一步展示了这一点：为了制造泡沫，AI 在第一阶段其实会承担较大成本，甚至出现亏损；但一旦泡沫形成，并吸引大量动量交易者进入市场，AI 就可以在较高价格上卖出持仓，将资产转手给这些追涨买入的交易者。
随后，当价格逐渐回归基本价值时，AI 便能够从这一跨期交易策略中获得大量利润。也就是说，它们不仅是在根据当前价格变化做出反应，而是学会了一套更复杂的策略：先主动制造价格偏离，再利用动量交易者的追涨行为退出获利。
05
没有沟通的“合谋”：监管应如何应对？
由于时间有限，我没有办法向大家展示所有的结果。但我想强调的是，具备规划能力的 AI 确实学会了这种复合型价格触发策略。在这种策略下，一旦有参与者偏离协同，其他 AI 交易系统就会通过非常激进、甚至近乎 “疯狂” 的交易行为进行惩罚。更重要的是，这种惩罚之所以能够被维持，是因为背后还有另一层激励相容机制：如果出现偏离协同策略的行为，那么在未来几个交易回合中，市场将重新回到竞争性交易状态，协同也会随之中断。
这一点也可以通过脉冲响应图（impulse response figures）来展示。简单来说，就是观察当某个 AI 偏离原有协同策略后，其他 AI 的后续交易行为会如何变化。由于时间有限，这里不具体展开。
我们的研究表明，这种具有协调性的 AI 规划行为，即使在没有沟通、甚至没有主观意图的情况下，也可能自发出现。
如果逐行查看这些代码，会发现每一行代码本身都是完全 “无辜” 的。没有哪一行代码明确指示 AI 去合谋，或者去操纵市场。但在市场反复互动中，这些 AI 仍然可能学会一套复杂的跨期协同策略。
通过这套策略，它们可以应对前面提到的时间不一致性问题，也可以应对内生性惩罚失效的问题，并最终制造泡沫，导致类似崩盘的结果。
从政策角度看，这也是为什么我们要研究反应式学习。一个有意思的可能性是，美国 SEC 或各类交易平台，也许可以借鉴一些平台治理中的思路：在市场中部署相对简单的 AI，用来对抗那些更复杂、更高级的 AI。
换句话说，这类简单 AI 未必需要比复杂 AI 更聪明。它只要能够扰动复杂 AI 之间的协同，就可能把市场交易重新拉回到更接近竞争性状态，从而起到稳定市场的作用。与此同时，这些反应式 AI 本身也可以在交易中获得一定收益，而这些收益甚至可以返还给纳税人。
我的分享就先到这里。感谢大家，也欢迎各位继续提问和交流。
问答环节
陈龙（罗汉堂秘书长）
你认为 AI 自发形成协同、制造泡沫并导致市场不稳定这种情况真实发生的可能性有多大？
窦炜
这是一个非常好的问题。之前我和 Itay Goldstein 去美国金融业监管局（FINRA）和美国证券交易委员会（SEC）做汇报，也和监管者交流过。在他们看来，这种情况很可能已经在发生了。
但问题是，这件事很难确认。也正因为如此，他们对相关研究有很强的需求。在真实的交易环境中，即便是像 FINRA 这样的监管机构，也并不真正清楚不同投资者，尤其是对冲基金，到底是如何做出交易决策的。
这些交易决策究竟是完全由强化学习算法自主完成的？还是由人类交易员和某种强化学习系统共同完成的？又或者，它们其实仍然只是传统的算法交易？所谓传统算法交易，是指交易行为虽然是自动化执行的，但背后的交易规则仍然百分之百由人类设计。这些问题目前都不清楚。
所以，监管者希望看到更多研究来回答这样一个问题：如果背后的真正决策者是强化学习算法，会出现什么样的独特交易行为？也就是说，这些算法一边在市场中真实交易，一边又从真实交易中继续学习，那么它们会表现出哪些区别于传统交易方式的特征？
监管者希望研究能够帮助识别出某些独特的交易模式。这样一来，他们就可以在实时市场监测中观察这些模式，判断市场中是否正在出现类似行为。
陈龙
在当前这项研究里，你们有没有识别出一些比较清晰的模式，可以用来判断这种行为是否正在发生？
窦炜
确实有。这里对应的就是我们说的脉冲响应。简单来说，我们是在一个很短的交易周期里，看这种跨期反应：如果某件事情发生了，其他 AI 会如何反应？比如，某些 AI 会不会突然开始非常激进地反向交易，而且这种交易方式在通常情况下其实并不太合理。这就是前面提到的那种近乎疯狂的惩罚行为。
但现实中的一个难点在于，很多价格触发策略发生时，交易者之间并不能真正看到彼此的行为。他们通常看不到对方具体是怎么交易的。
陈龙
我想进一步追问一下，你们是否能够找到一些足够清晰、可以被识别的模式，让投资者或者监管者在现实中加以关注？
而且，如果真的看到了某种模式，又怎么区分它是 AI 行为，还是人类交易者的行为？在我看来，你们似乎是在理论上证明这种情况是可能发生的；但从实证角度看，似乎很难真正用它来识别现实市场中的行为。
窦炜
从实证角度看，正如我在分享中展示的，基本上确实存在一种行为模式，也就是一种 “触发式行为”。
所谓触发，就是当某些情况出现时，你会看到这些大型投资者以非常激进的方式行动，甚至几乎是 “疯狂地” 朝同一个方向交易。问题是，这种交易方式在通常情况下并不太说得通，因为它们可能会在短期内亏钱。
从监管者的角度看，即便我不知道这些交易者具体是如何做出决策的，我仍然可以观察到它们的交易行为，也可以观察到市场上其他人的交易行为。
比如，如果在前一分钟或前一个小时，一些大型投资者一直在买入，但市场中也有其他力量在做相反方向的交易，导致价格并没有按照这些大型投资者希望的方向变化。然后，突然之间，这些大型投资者开始非常激进地转向相反方向交易。
如果你看到这种模式，它就可能是一种价格触发模式。这正是本文中非常独特的一类模式。
陈龙
那人类不会这样做吗？
窦炜
人类要真正实现这种行为，其实是非常困难的。比如，如果你和我事先沟通过，并且真的达成了某种协议，然后再把这个协议写进我们的交易算法里，那么这种算法交易也可能实现类似的结果。
但问题是，如果我们这样做，就必须有沟通。一旦有沟通，就会面临很大的法律风险。SEC 可能会查到我们之间是如何沟通的，也可能找到相关证据。那我们就会有麻烦。
但对于 AI 来说，情况不同。它的一切都是自我学习形成的。
陈龙
我还有一个与模型有关的问题。过去在理论模型中，我们通常会把投资者建模为理性的，他们有规划能力，会做多期决策等等。但这些说到底都是在讨论人类投资者。
所以我想理解的是，这一次 AI 智能体和人类到底有什么不同？你能解释一下吗？我们刚才讨论的一些根本性障碍，好像在人类环境中也会出现。我这样理解对吗？
窦炜
是的，这是一个很好的问题。从理论上说，这些问题确实也可能出现在人类身上。因为从理性假设的角度看，理论模型里通常会假设人类具有理性预期。但我们都知道，这其实是一种简化。现实中的人并没有那么理性。
陈龙
但是，经济学家长期以来不都是这么做的吗？我们假设人是理性的，假设他们会做多期决策，会形成预期，会做理性决策，也会根据价格等信息来行动。我们现在怎么把这个框架切换到 AI 智能体上？它们到底有什么不同？
窦炜
是的，这里的区别在于，理性预期本身是一个很强的假设。就像我刚才在讲贝尔曼方程时强调的，这里有两点不同。
第一，理性预期通常假设参与者知道真实的概率分布。我们知道，这是一个非常强的假设。
第二，理性预期甚至还更强。它意味着，在一切开始之前，这个具有理性预期的参与者就已经理解市场最终会走向哪一种均衡。
但 AI 并不具备这些前提。它并不是一开始就知道真实的概率分布，也不是一开始就知道市场最终会形成什么均衡。这是一个根本性的区别。
另一个更现实的区别在于，即便我们假设人类真的具有理性预期，也就是说，人类知道概率分布，也知道最终会走向哪种均衡，但在现实中，要实现这种协调，人和人之间通常还是需要沟通。
比如，如果是你和我想要达成这种协调，我们通常需要讨论，需要交流。但对于 AI 来说，至少在我们接下来要展示的实验中，AI 甚至不知道自己是在和谁交易。它们之间完全没有沟通。
这也是为什么美国证券交易委员会（SEC）和美国司法部（DOJ）在处理市场操纵案件时，通常需要确凿的沟通证据。比如，“你们之间有电话记录”，“你们一起开过会”。这些都会被作为指控或执法中的关键证据。
但对于 AI 合谋来说，这些东西都不存在。你没有办法找到任何沟通证据。这是最关键的区别。
杨立岩（多伦多大学金融学教授）
我有两个澄清性问题。
第一个问题，也许我们之前在一些会议上交流过这个 “合谋” 的问题，可能和你们上一篇论文有关，也和理论有关。在博弈论中，我们知道，在无限期模型里，可以存在隐性合谋，而且这种隐性合谋也可以是一种均衡。
我的理解是，如果参与者只是人类，那么在传统博弈论中，要支撑这种隐性合谋其实是比较困难的。但也可以把当前金融市场理解为：人类在使用这些 AI 作为一种执行工具。也就是说，这更像是传统隐性合谋概念在 AI 环境下的一种实现方式。这是第一个问题，主要是关于如何解释这个机制。
第二个问题是，你刚才提到，在合谋行为上，人类和 AI 有很大不同，因此监管框架也会非常不同。但我们也想理解，二者带来的后果是否也可能不同。
如果合谋行为不同，对金融稳定的影响也可能不同。由于参与者不同，我们对 “稳定性” 的定义，或者对后果的判断，也可能会不同。
也许我们还可以从更传统的福利或监管目标角度来理解这个市场。假设市场中既有人，也有机器。如果你拥有一台机器，市场不稳定或脆弱性可能是不好的；但如果现在是机器和人类共同参与，某种不稳定性也许反而对人类有利，那么我们是否就不应该监管它？
所以，我有两个问题。第一个是解释层面的：是否可以把它理解为传统隐性合谋概念的一种实现方式。第二个是监管目标层面的：你如何理解为什么要监管，以及监管到底想防止什么。
窦炜
关于第一个问题，是的。一般来说，当我们在重复博弈框架下做理论研究时，这确实是研究合谋的一个典型基础框架。在这个框架中，即使是合谋均衡，通常也会有很多种。我们其实并不真正知道，现实中最终会落在哪一个具体均衡上。
作为经济学家，我们很难说，哪一个特定均衡才是真正会出现的。过去几十年里，理论研究者通常会选择某一个均衡来研究。即便在各种合谋均衡之中，我们也会说，某一个看起来更接近人们的实际行为。
比如，带有某种惩罚机制的价格触发策略，或者带有惩罚机制的冷酷触发策略。立岩说得完全正确。通常在理论研究中，我们其实是通过一种比较直接、甚至带有主观选择色彩的方式，选定某个均衡作为研究重点。
但你可以想象，在我和 Itay Goldstein 的论文中，我们并不是这样做的。我们不是先人为指定要关注哪一个均衡，而是先指定算法。
我们问的是：如果 AI 采用的是这一类算法，会发生什么？然后，我们通过模拟以及一些启发式证明来说明，它们会收敛到某一类均衡。
从非常高层次的理论角度看，我们的论文可以被理解为一个均衡选择问题。也就是说，如果算法被设定成这种形式，它们就会比较稳定地选择出这一类均衡。理论上，许多其他类型的均衡都是可能存在的，但在这个具体环境下，并不那么相关。
关于第二个问题，我们想强调的一点是：机制确实非常不同。AI 和人类如何协调并操纵市场，这背后的机制是非常不同的。
但后果其实相当相似。在我们上一篇论文中，结果是市场流动性会下降，价格的信息含量也会下降。在这篇论文的情形中，如果把这些机器换成人类，而这些人类不管是合法还是非法地形成了合谋，制造泡沫，并通过泡沫破裂或退出过程获利，那么最终后果也是类似的。
这正是监管者面临的挑战。至少就我们讨论的几个方面而言，包括市场流动性、市场效率和市场不稳定性，后果是非常相似的。但问题在于，AI 形成这些结果的机制与人类有根本不同。这也是为什么它对监管来说如此具有挑战性。
推荐阅读
