夜雨聆风学习资料网

ARTICLE · 1366931

DSH华为昇腾插件:昇腾NPU监控、部署、调优

DSH华为昇腾插件:昇腾NPU监控、部署、调优

我最近折腾华为昇腾集群,最烦三件事:哪张卡空着、部署 vLLM 怕撞车、跑完 benchmark 还得手算差值。

干脆写了个 DSH 插件,把这三件事塞进侧栏一个 Tab。最狠的是,没卡的 Mac 也能用演示数据跑通全流程。

找卡这步,它每 5 分钟轮询一次,最多管 16 个环境。有进程、HBM 或 AICore 占用过 5%,就算忙。空闲机永远排在最上面,扫一眼就知道哪张能用。

部署 vLLM 走双门机制。预览时先给完整 docker run 命令,两道门全开才真启动。卡忙、端口占、镜像不对,任一预检失败就拒绝。停止容器也只碰自己的,防误删。

性能调优能导入 benchmark 和算子 profile。基线和候选一比,±5% 自动判定改善还是回归。8 条洞察加 5 条算子证据直接甩出来,不用再手算差值。

源码仓刚创建一天,但 400 行 README、90 项自测、真实 8 卡 16chip 实测全齐了。做昇腾运维的可以先装个 DEMO 摸熟流程,再上机干活。

回首页,搜索你想要的文档

在首页搜索框输入关键词,快速定位资料

文库首页搜索指引 立即搜索

相关学习资料