夜雨聆风如果让 AI agent 从 2026 年 1 月 1 日起，每天只能读到当天及以前的新闻，要它预测未来 90 天内会发生什么——它能做到吗？OpenForecaster 团队刚刚发布了 FutureSim，一个把 agent 扔进「可回放的真实世界」的 benchmark。结果最强的 GPT-5.5 + Codex 组合在 330 道真实事件预测题中也只有 25% 的准确率，更多 agent 的表现甚至还不如「干脆不预测」。
一个全新的测试：让 agent 在新闻里「穿越」
5 月 16 日，OpenForecaster 成员 Arvindh Arun 在 X 上发了一条帖：
"Introducing FutureSim: where we replay a temporal slice of the web and let agents forecast real-world events over time."
「我们做了 FutureSim：回放一段网络世界的时间切片，让 agent 在其中持续预测现实事件。」
▲ Arvindh Arun 在 X 上宣布 FutureSim，帖中列出了核心机制和模型排名
这个项目的想法直觉上很简单：把真实世界过去三个月的新闻按日期封存起来，让 AI agent 从头开始一天一天地「活」过去。
agent 从 2026 年 1 月 1 日启动，面前有 330 道关于真实世界的预测题——从政治选举到体育赛事，从政策变动到国际局势。它每天只能看到当天及之前发布的新闻文章，无法偷看未来。它需要自己决定搜索什么、关注哪些问题、什么时候更新预测，以及什么时候翻到下一天。
简单说，这是一个给 AI 安排的「模拟分析师」工作：在不确定的信息流里持续判断和修正。
为什么传统 benchmark 测不出这个能力？
过去的 AI 评测大多是一锤子买卖：给模型一道题，它给出答案，立刻打分。
FutureSim 的设计者认为这种模式有根本缺陷——真实世界的预测从来不会在某一刻结束。
你今天做了判断，明天可能出来新信息推翻它。一个好的分析师需要随新信息修正自己的观点——押宝一个答案然后再也不动，在现实中活不下来。
▲ FutureSim 官方项目页，展示了按日推进的 simulation 设计
项目页把 FutureSim 的核心设计拆成了几个维度：
- 按时间顺序推进
（Chronological order）：新闻不会被随机打散，agent 按日历顺序经历世界 - 真实数据驱动
（Real-world data）：330 道题从 Al Jazeera 新闻生成，答案来自真实事件的后续结果 - 部分可观测的大环境
（Partial observability）：agent 面前有 736 万篇去重后的 CCNews 文章，来自 141 家新闻源，但它需要自己搜索才能找到相关信息 - agent 自己决定策略
：环境只提供两个核心操作——`submit_forecasts()` 提交或更新预测，`next_day()` 翻到下一天。其他一切由 agent 自行安排
"Agents have to forecast world events, deciding themselves when to update which forecasts, as daily news gets added to the environment."
「agent 需要在每天新增新闻的环境中预测世界事件，自行决定何时更新哪一项预测。」
88 天，736 万篇新闻，agent 要做什么？
具体来说，FutureSim 当前版本覆盖 2026 年 1 月到 3 月。模拟从 2025 年 12 月 24 日启动，到 3 月 28 日结束，共 88 天。
在这 88 天里，agent 起始时已经可以看到约 712 万篇历史文章。随着模拟日期推进，还有约24.4 万篇新文章按日期流入环境。
agent 拿到的 330 道题都是短答案题，每道题有一个「解答日期」——也就是现实世界中答案揭晓的那天。agent 可以在答案揭晓之前反复修改自己的预测。
论文（arXiv: 2605.15188，目前为预印本，未经同行评审）描述了评分机制：Brier skill score（BSS）。
▲ arXiv 论文摘要页，论文标题为《FutureSim: Replaying World Events to Evaluate Adaptive Agents》
BSS 的逻辑是这样的：如果你给正确答案分配了 100% 的概率，你拿满分 1；如果你完全不预测，基线是 0；但如果你把 100% 的概率押在错误答案上，分数可以低到 -1。换句话说，过度自信的错误会被严厉惩罚。
这个评分标准直指一个关键能力：校准（calibration）——你的信心程度是否匹配你真正的正确率？
GPT-5.5 领跑 25%，但「不预测」可能更明智
结果出来了。
论文在每个模型的「官方推荐 harness」下测试——GPT-5.5 用 Codex，Opus 4.6 用 Claude Code，Qwen3.6 Plus 用 OpenCode。这是 model + 工具 + 脚手架的综合表现，不能当成裸模型排名。
25% 乍一看不高，但更值得注意的是另一个数字：很多 agent 的 Brier skill score 为负——比什么都不预测还差。
这意味着这些 agent 在预测时过于自信，把很大的概率押在了错误答案上。如果它们选择「我不知道」，总分反而会更好。
每次模拟运行中，模型消耗超过1000 万个 token，发起500 到 4000 多次工具调用。GPT-5.5 单次运行甚至到了 3700 轮对话、1240 万 token。这些资源投入并没有换来与投入匹配的预测精度。
搜索 API 靠不住：一条信息泄漏就毁掉整个测试
FutureSim 在设计上做了一个引起不少关注的决定：不用外部搜索 API，只用本地离线新闻库。
为什么？论文附录给了一个例子：在模拟日期为 1 月 30 日时，研究团队试用了外部搜索 API（如 Brave Search），结果返回了 2 月 8 日之后才有的冬奥会奖牌结果。
日期过滤器没拦住未来的信息。
如果 agent 在模拟 1 月时就读到了 2 月的答案，那整个 benchmark 就成了开卷考试。所以 FutureSim 选择了 frozen/date-gated 的 CCNews 快照和 LanceDB 本地搜索——确保 agent 在任何时间点只能看到该时间点及以前的文章。
这对所有想做「历史回放」评测的团队都有参考价值：联网搜索如果做不到严格按日期截断，benchmark 就会变成泄题。
和 Polymarket 的对照：有时领先，有时惨败
论文还做了一件有意思的事：把 GPT-5.5 在部分问题上的预测轨迹，和 Polymarket（去中心化预测市场）上的群体赔率做了对比。
结果很混乱——在某些市场上，比如超级碗 LX（交易量达 7.04 亿美元）和葡萄牙大选，agent 的预测更新有时领先于市场共识。但在格莱美和英国选区这类问题上，agent 表现明显更差。
所以 agent 并没有「稳定击败预测市场」的能力。它在某些信息密集的领域可能更早捕捉信号，但在另一些领域完全被人类群体甩开。
社区追问：模型会不会「假装不知道」？
FutureSim 在 X 上发布后，几个问题立刻浮出来。
@BruzWJ 提出：date-gated access 的设计很巧妙，但模型是否已经在预训练阶段记住了这些事件？如果 GPT-5.5 的训练数据里包含了 2026 年 1-3 月的新闻，那它的 25% 准确率里有多少来自「回忆」而非「推理」？
论文对此的回应是：使用本地 frozen corpus、沙箱环境、禁用外部搜索。但预训练记忆本身很难完全排除——这是所有 temporal benchmark 的共同难题。
@kekkodamato_ 关注的是 agent 能否修正早期判断：date-gating 是个好设计，但 agent 会不会过度锚定在最初的信号上，而无法随新信息更新？这直指 FutureSim 想测的核心能力——test-time adaptation。
@LimaoEmperor 则直接批评模型覆盖范围：为什么没有 Gemini 3.1 Pro Preview？当前排行榜只是发布时的模型与 harness 组合，不代表行业全貌。
代码开源，但完整复现有门槛
▲ GitHub 仓库 OpenForecaster/futuresim，提供运行脚本和配置文件
代码已经开源在 GitHub（`OpenForecaster/futuresim`），README 给了 Quick Start：克隆仓库、`uv sync`、配置 API key，然后一行命令就能跑。数据集在 Hugging Face（`nikhilchandak/OpenForesight`），MIT 协议。
▲ Hugging Face Papers 页面，索引了论文、项目页和代码
但实际复现全部实验有不低的成本：每次运行需要 1000 万以上 token、几千次工具调用、长时间模拟。GitHub 也支持自定义问题集和新闻语料——你可以用自己的数据源和时间段来跑 FutureSim。
「答题」的时代可能快结束了
FutureSim 的意义或许不在于 25% 这个数字本身。
它代表了 agent 评测的一个方向：从「看一道题给一个答案」转向「在持续变化的环境里管理不确定性」。
传统 benchmark 里，模型不需要记忆、不需要搜索、不需要在多个问题间分配注意力、不需要权衡「我该花 token 搜更多信息还是直接提交」。FutureSim 把这些现实世界分析师每天面对的决策全部推到 agent 面前。
而当前最好的 agent，准确率只有四分之一——还有大量 agent 连「承认不知道」都做不好。
对于金融、政策、供应链、科研路线这些高不确定性场景来说，校准能力比猜中答案重要得多。一个能说「我有 60% 的把握」并且真的大约 60% 正确的 agent，远比一个动不动说「我 99% 确定」但经常翻车的 agent 有用。
FutureSim 给了一个测量这种能力的方法。至于 agent 能不能在这张考卷上拿到及格分——目前来看，还差得远。
— END —
