AI做量化差在哪?7个顶级LLM实测,策略通过率不足一半

代码只是量化的基础，更前端的研究理解、数据口径和清洗、交易约束和成本、回测设定和核对、风险管理和分析等细节，才是最易出错、最耗时间的部分。而当下市场信息繁杂，认知优势的半衰期越来越短，信号衰减加速。故而对于很多中小型 fund 或团队而言，即使市场下沉，问题依然存在：团队人少、分工有限，同一个研究员往往要身兼数职，甚至独立完成整个工作流；很多本该由系统承接的工作，由于infra质量和dev有限，仍然依赖人工串联，研究效率和结果稳定性都易受影响。

为客观比较不同 coding agent 在量化任务上的表现，我们采用统一 benchmark 进行评测，并同时覆盖商业原生 agent 与统一开源 scaffold 下的不同模型后端。每个任务都会提供研究论文、用户指令和策略所需数据文件；所有实验均在隔离环境中运行，使用相同的数据快照、运行环境和资源预算。我们由量化和AI专业人士协同拟定了一系列判断策略复现是否达标的properties，包括了domain-level和paper-specific properties两类集成。模型在执行过程中无法访问参考实现或验证结果、执行失败、超时、输出缺失以及接口违规都统一记为失败。

我们的实验结果验证了前文结论——现有coding agent 在量化任务上仍不可靠：一是平均成功率不高；二是无法处理好量化策略的时序，方向以及一些细节要求。

图 1 展示了各类 coding agent 在 QuantCodeEval 上的 pass@1（一次即通过） 与 pass@5 （五次后才通过）分布，给出了不同 agent 的成本与交互步数

从结果可以看到，即使允许多次尝试，pass@5 有所提升，但整体成功率仍然有限；与此同时，不同 agent 在成功率、成本和交互复杂度之间也存在明显差异。这说明量化代码生成并不是一个靠“多试几次”就能稳定解决的问题。

图 2 展示了不同 coding agent 在策略属性要求m(Properties)上的通过情况

同时，任务中的失败并不是单点式的，而是分散出现在不同任务维度和不同约束检查中。对于现有LLM：问题不只在“会不会写代码”，而在“有没有量化 know-how”和“能不能把研究语义稳定地落实到实现和验证流程里”。

目前项目上线一周下载量已达1.5k+，完整项目结果详见：www.quantcodeeval.cloud

dataset:https://huggingface.co/datasets/quantcodeeval/task_data 

相关论文目前 under review中

图 3 QuantCodeEval Benchmark主页

Alagent AI由香港大学CS和Finance教授和专业从业人员发起，从量化研究多智能体和验证引擎切入，研发AI原生交易基础设施。任何输入结构和接口，系统都能一键执行如下工作流，将其转成可验证的策略规范、可执行代码和可信赖的回测结果。我们认为 Agent 的应用价值并不取决于单轮生成结果的流畅性，而取决于其是否具备准确性、可验证性、可追溯性以及支持多角色协同的流程承载能力。

相对于最强开源/商业 coding agent baseline，Alagent不但能生成更高质量的、更贴近现实交易的代码，还让整个LLM生成流程更加可控。

图 4 Alagent工作流

支持超长文本PDF、Markdown草稿、Docx报告、纯图片、URL、自然语言等多格式输入，自动识别结构，细颗粒度吞咽。

摒弃黑盒生成，通过多策略检测、指标提取、信号逻辑拆解、执行计划生成、风控规则梳理，将非结构化文本转化为标准化的策略规范，精准实现多策略文献的每个策略细节。

基于策略规范生成可执行代码，逐项回溯校验；系统会对于不确定或非标准化专业领域细节逐一问询，而非自行决定生成随机的数据/公式/参数，保证代码正确性，杜绝无效幻觉代码。因此，基于高性价比模型（DeepSeek V4, flash和PRO）的策略生成质量也可超过 SOTA 模型（详见 Part 4）。

所有策略均可接入 Backtrader 框架进行可配置回测，直连券商而非基于pandas，支持更真实地纳入手续费、滑点、杠杆等交易约束；自动提取绩效指标，智能比对并标注偏差点，给出诊断报告。

Agent Skill version可直接接入 VS Code Copilot、Claude Code等工具，无需跨平台切换，无缝衔接科研工作流，降低上手门槛。

支持多语种文献、策略说明和自然语言输入。

本节以 Kelly 等人的 Universal Portfolio Shrinkage 为例，展现 Alagent 的能力。构建投资组合时，历史数据不一定可靠。某个因子过去几年表现很好，可能是碰巧；组合风险看起来很低，可能是样本太短。Shrinkage 意即“别太冲动”：看到极端的历史结果时，不是完全相信它，而是把它往更稳、更保守的方向拉。UPSA 提供不同程度不同拉法的保守方案，并用历史数据检验：哪种方案在样本外更靠谱。最后，它在不同因子组合之间重新分配权重，让组合不要太依赖某个看起来漂亮、但可能只是运气好的历史信号。

UPSA 看起来只是一个投资组合算法，但生成时极易“踩坑”：哪个公式才是优化目标，哪些权重只是中间变量，样本外日期怎么对齐，加多少杠杆。一个地方理解错，最后的 Sharpe、回撤和净值都会差很多。Alagent 要做的事情，就是把这些容易被人和模型误读的细节定位、检查是否对齐，保证代码真的按论文的意思在跑。

我们使用与论文设定一致的数据口径和 OOS 评估窗口（Out-of-Sample）对UPSA 策略进行生成。论文 headline OOS Sharpe 为 1.92，而我们的 golden implementation 复现到 1.918，偏差仅-0.002，且 24个 active checker 全部通过。

图 5 其他Agent复现结果

图 6 Alagent的结果：所有指标精确对齐

在同一样例上，其他 agent 的常见失败主要来自金融语义层：论文脚注里的方差归一化定义理解错漏，导致 Sharpe 普遍落在 1.36 左右; full sample period 和 OOS evaluation window 混淆，Sharpe 被直接稀释到 0.014；虽然大体理解了思路，却把 ridge space 的全局维度写错，导致后续矩阵结构整体失真等等。

此外，Alagent 是唯一一个在论文结果复现上达到正确数量级、并通过完整 checker 验证的实现；同时，也是唯一一个将复现结果落地到可连接券商回测执行框架中的实现。我们得到的不是一个停留在 pandas 计算层面的复现样例，而是一套能够继续纳入交易成本、杠杆和保证金约束，并向真实执行环境延伸的策略。