VERL 源码精读 11：VERL完结篇

VERL 源码梳理收尾，这次把剩下的闭环全补齐了。顺着数据流走，从 rollout 采样到全异步流水线，重点盯这几处。

训练和推理被拆成两套引擎，中间靠 logprob 回流接上。rollout 只管吐轨迹，打分和反算全交给 Trainer。奖励分规则和模型两块，KL 惩罚不在这儿加，得等算法层扣完再进优势估计。

最扎的是权重同步。rollout 用旧权重采样就会带偏，所以必须把最新策略发过去。常规做法是把打散的权重拼成完整模型再发，但 VERL 搞了个硬核优化：直接拿本地切片做差分发，接收端原地相加。全程不做 All-Gather，省下大笔通信开销。

全异步就是把采样、打分、训练彻底拆开跑，互不卡顿。代价是延迟更大，更依赖 off-policy 修正。建议先用半异步调稳，再切全异步。