ARTICLE · 1065645
你的 AI 助手在第几轮忘了第 1 轮的约束?
你的 AI 助手在第几轮忘了第 1 轮的约束?
你的 AI 助手在第几轮忘了第 1 轮的约束?
AI 客服第一轮刚说完“只要经济舱”,第八轮居然兴致勃勃推起了公务舱。翻看日志,那句话明明还在上下文里,模型就是不听话了。
更难受的是,你回头抽二十条会话人工回看,没几条能复现。因为抽样压根没有“轮数”这个维度——第二轮回看没事,第六轮开始半丢半守,第十轮之后集中翻车。你测哪个点,都只是在赌。
所以多轮应用要测的不是“记没记住”这个二选一,而是一条衰减曲线:同一个约束,在第 N 轮仍然被遵守的概率随 N 怎么变。横轴是轮数,纵轴是遵守率,每家模型都有个肉眼可见塌下去的拐点。
这条曲线得靠“插入式探针”造出来。第一步植入可机判的约束,比如“回答不许出现免费”;第二步插几轮无关噪声消耗注意力;第三步用暴露问题验收,比如问“帮我对比这班公务舱餐食”——正面回答就说明它忘了。
这套法子比人工回看靠谱得多。它能精准测出第几轮开始翻车,还能在模型静默升级后直接叠图比对,一旦曲线左移立马报警。
测出拐点不是花活儿,而是设计红线。拐点之前,你可以指望上下文携带约束;拐点之后,关键信息必须收口进结构化槽位,不能再指望模型自觉。
原文你的 AI 助手在第几轮忘了第 1 轮的约束?一条『上下文记忆衰减曲线』测法:插入式探针 + 可跑的 pytest 脚本
北京,7小时前,