ARTICLE · 1267004
读 NVSentinel 源码:南向互联故障,该停多
读 NVSentinel 源码:南向互联故障,该停多
读 NVSentinel 源码:南向互联故障,该停多
一条 NVLink 报错,自动系统直接把整台机器重启了。看着是动作利落,其实停机范围被硬生生放大了一圈。
源码里有个很细的规矩:局部清场的证明不能乱用。只清理了 GPU-A,这证明就只管 GPU-A。想动 GPU-B,或者升级成整机重启,必须重新清场。缺了设备映射、跳过清场,都不能算数。
故障处理得分层来。有备用路径先绕路;没备用路径但带宽降了,就保留资源继续观察。要是单卡彻底坏了,才去识别相关 Pod 做局部复位。千万别一上来就把节点隔离、机器重启。
最扎心的是修好后的放行。硬件复位成功,绝不等于业务能接流量。节点回池得先过设备和通信验证,业务还得再单独验一遍模型和 KV 状态。链路恢复、设备回池和模型续跑,得各自留下证据。
原文读 NVSentinel 源码:南向互联故障,该停多大范围?
北京,5小时前,















































































