ARTICLE · 1054876
大模型冷启动,为什么不再重复下载
大模型冷启动,为什么不再重复下载
大模型冷启动,为什么不再重复下载
新推理副本启动时,如果每台机器都从远端重新下载几百GB权重,扩容会被网络和存储拖慢。新的分发方式会先寻找已经加载好兼容权重的服务副本,再通过GPU点对点传输;没有可用节点时才回退到存储。
收录于技术科普
江苏,24分钟前,
ARTICLE · 1054876
新推理副本启动时,如果每台机器都从远端重新下载几百GB权重,扩容会被网络和存储拖慢。新的分发方式会先寻找已经加载好兼容权重的服务副本,再通过GPU点对点传输;没有可用节点时才回退到存储。