夜雨聆风学习资料网

ARTICLE · 1176989

Long-WAM 源码精读:先想后动的世界-动作模

Long-WAM 源码精读:先想后动的世界-动作模

Long-WAM 源码精读:先想后动的世界-动作模

传送带加速到每秒 7.5 厘米,别的模型抓取成功率直接掉到零,Long-WAM 还能稳在 90%。差距就在一个:它看得见更久的过去,而且真会拿这些历史来干活。

长记忆本来会把动作拖慢。它的解法是先让视频模型预演个“未来草图”,动作模型再照着这个草稿去生成动作。为了不卡机器人,它还把编码和计算全做了异步流水线。实测一个动作只要 107.4 毫秒,比旧方案快了两倍多。

代码里有个关键开关,停在九成噪声而不是完全干净。这意味着未来画面只含一成信号,全程不解码回像素,动作去噪直接复用这份缓存。

不过这方案也有门槛。每个上下文长度都得单独训一个模型,38.4 秒那档成功率还掉到了 75.2%。仓库自己也声明,完整基准还没重跑完,原始结果包也没发。

想自己验证的,直接拉公开检查点跑评测就行。

原文Long-WAM 源码精读:先想后动的世界-动作模型,如何让 19.2 秒视觉记忆不拖慢实时控制?
作者提示: 个人观点,仅供参考
上海,5小时前,

相关学习资料