端侧AI工具链原理(04)：模型节点

模型转换成功，设备却加载失败。这通常说明前四层至少部分通过，第五层的版本或 Capability 不匹配。

算子支持远不止名字和 Yes/No。同一个 Conv，Kernel、步长、分组、量化方式差一点，就可能编译失败或回退。真正决定性能的，是不支持节点切在哪里、切开多大的 Tensor、引入多少同步。

拿检测网络来说，180 个节点支持了 176 个，按节点数算支持率高达 97.8%。但方案 A 把后处理全放 CPU，只跨一次设备边界；方案 B 每个尺度分别回退，形成 6 次跨设备边界和多次 Layout 转换。结果单个不支持节点很小，端到端反而更慢。

所以分区器该做的，是让高价值子图连续留在 NPU，而不是追求更多节点进 NPU。Custom Op 也一样：只在模型里调用一次，维护成本可能比收益还大；放在每帧相机主链里，硬件化才划算。

分图报告不能只写“Node 137 unsupported”。理想写法是：“Conv 因 Dilation=3 超出 HTP 限制，导致节点 120 至 136 与 138 至 166 被切成两段。”

#大模型 #算子 #节点 #Node #分图 #NPU #端侧算力 #DAG