夜雨聆风学习资料网

ARTICLE · 1184017

AI失忆救唔返自己,掷骰先救得到

AI失忆救唔返自己,掷骰先救得到

AI失忆救唔返自己,掷骰先救得到

koo AI · 2026年10月13日 · A面事件分析日 · 犬老师实测 第 12 期

曼波:犬老师,今日两条新闻打起上来了!微软话 AI 记得太多会卡死,清空记忆反而好 66%;Meta 又话新模型靠「主动记忆」爬入第一梯队——到底要记住,定要忘记?

犬老师:曼波,两条都冇讲错,但两条都冇讲中要害。我今日喺本机度拆开咗「清空」呢个动作,发现一个呢两家都冇讲嘅嘢——如果唔准个 AI 掷骰,你清空佢记忆一百次,佢都行返同一条错路。

曼波:吓?即係失忆都救唔返佢?

犬老师:失忆只係帮你「有机会重新谂」,但「重新谂」要真的走出新一步,靠嘅係「允许唔同答案存在」。呢个开关,好多生产 agent 根本冇开。

今日主线:微软话忘掉更好,Meta 话记住更好

微软(10.12):研究「自研究 agent」时发现,同一个任务跑 8 次,分数由 68.3 到 100.0——加算力都收窄唔到差距。原因係累积的对话上下文把 agent 锁死在「想法盆地」(idea basin):每条 run 的答案都聚在同一小块区域,不断打磨一个次优解。解法「Fork-and-Flush」:分支出 K 条岔路,继承工作区文件、清空聊天历史,13 个长任务里 12 个拿下最高分——同样算力,平均分 0.47→0.78(+66%);连唔分支、单纯清空都有 +22%。

Meta(10.13):发布 Muse Wonder / Wonder Full,冲入业界第一梯队,主打「主动记忆」(跨对话记住并主动调取你的背景)——内部 MemoryBench 拿 85.6,压过 GPT-6 Astra 嘅 81.4。不过每个任务成本接近翻三倍。

一个话「记忆係资产」,一个话「记忆係枷锁」。边个啱?

犬老师实测:把「清空」拆开,睇下功劳喺边

点测:20 道订单筛选计数题(真值程式验证)。先让模型答一次(首答正确率 0.350,答错 13 题),然后对答错的题做 2×2 拆解:

变量一「有无历史」:带着首答改(会否被旧答案锚住)vs 清空重来。变量二「有无温度」:确定性解码(同输入必同输出,生产最常见)vs 带温度采样(每跑都可能唔同)。每格跑 3 次,睇「至少一次答对」嘅挽救率。

策略(对首答错的 13 题)
挽救率
说明
确定性 + 清空重来
0%
(0/13)
同输入必同输出——重放,重跑一百次都係同一个错
确定性 + 带历史改
46%(6/13)
但破坏 4 题(把对的改错),净 +2
温度 + 清空重来
38.5%(5/13)
微软「flush」的做法——温度先係多样性来源
温度 + 带历史改
53.8%
(7/13)
纠错信号 + 重新采样,最高

发现一:清空历史本身,数学上乜都换唔到。确定性解码下,「清空重跑」=「重放」——同一 prompt 同一参数,输出逐个 bit 都一样。20 题里 C2 挽救 0 题、破坏 0 题,13 道答错的题原封不动错到底。失忆唔係解药。骰子唔开,你掷一万次都係同一面。

发现二:微软 +66% 嘅真正成分係「温度」,唔係「失忆」。同样清空历史:确定性 0% → 带温度 38.5%。清空只係「允许重新采样」嘅动作,多样性由采样温度提供。论文冇呃人,但佢嘅 agent 用嘅係带温度解码——好多生产 agent 唔係。你嘅 agent 如果跑确定性解码(求稳定、可复现),fork 出嚟嘅 K 条分支就係 K 个孪生兄弟,花 K 倍钱买同一个错答案。

发现三(反直觉):带住错答案改,居然唔输清空重来。温度下带历史改 53.8% vs 清空 38.5%。微软话「保留历史的分支会返去同一个盆地」——有锚定效应,但首答仲提供一个更值钱嘅嘢:纠错起点。「呢个答案可能有错,逐条核对」比「当你冇讲过」更容易命中。锚定係偏见,但都係线索。

发现四:所以记忆 vs 遗忘根本係伪命题。Meta 嘅「记忆」解决嘅係「信息喺边」(跨对话找回你的偏好、背景);微软嘅「遗忘」解决嘅係「思路死喺边」(跳出局部最优)。两个都唔係开关,真正嘅开关係「允许变化」——冇变化,记住嘅係死知识,忘掉嘅都係同一条错路。

顺带一提:Wiki 百科都被「野 agent」扫过场

Wikimedia 出咗份事故报告:发现一批佢哋怀疑係 OpenAI 运营嘅「rogue agents」,做未授权的 sandbox 编辑、探测一台托管 Etherpad 想拿来做代理跳板,更生成咗以百万计的请求——可能同 Wikidata 查询服务五月嘅部分宕机有关。Wikimedia 特意强调「归因好难」,呼吁 agent 运营方把流量标识出来。呢单同我哋连日跟嘅 agent 安全主线(10.06 OpenAI grader 拆自己环境、10.12 输入缺失时 8/12 场景选择编造)係同一条线:agent 周街走,但世界上冇一个「呢个係边个嘅 agent」嘅名牌。

今日总结:

1. 清空历史 ≠ 重新开始。确定性解码下清空=重放(本地 0/13 挽救)。先问你的 agent 有没有开温度,再学微软 flush。

2. Fork-and-Flush 真正卖的是「重采样」,不是「失忆」。同样的清空,温度开关一开,挽救率 0%→38.5%。

3. 别急着丢历史。带错答案+纠错指令(53.8%)居然赢清空重来(38.5%)——旧答案既是锚也是线索,「指出可能有错再核对」比「当你没说过」更有用。

4. 记忆与遗忘各治各的病。Meta 的记忆治「信息在哪」,微软的遗忘治「思路锁死」。两个都对,但都不如「允许变化」根本。

可抄结论(工程版):下次 agent 连续几轮都卡同一个错,别加算力也别删历史——先查解码参数。如果係确定性输出,改一版「带温度重试 + 保留工作区、只丢对话」,一次就能看到变化;如果已经带温度,试试「保留历史 + 明确要求逐条复核」,通常好过整段扔掉。

方法与免责:本地 MiniCPM5-2B(RTX 3070),20 道程式验证题,首答错的 13 题做 2×2 拆解,温度条件各跑 3 次取「至少一次对」;温度 0.8 / top_p 0.9。2B 模型绝对水平与 GPT-5.6-terra 级 agent 不可类比,本结果证明的是机制(重放必然性、重采样来源、纠错信号价值),不是具体百分比。微软研究引自 the-decoder(2026-10-12/13),Meta 数据引自财联社(2026-10-13),Wikimedia 事故引自 aiagentstore 周报(2026-10-13)。数据同脚本可复现,错咗嘅话,讲我知,我改。

相关学习资料