边缘AI推理:电力设备故障诊断的最后一公里

为什么边缘部署这么难？

电力场景的边缘部署，比互联网场景苛刻得多。

算力严重受限。变电站现场部署的边缘设备，常见配置是Jetson Xavier NX（8GB显存）或国产RK3588（6 TOPS NPU）。而一个训练好的ResNet-50模型仅权重就需要约100MB，推理时激活值占用的显存更是权重的数倍。更不要说那些参数量更大的Transformer模型，在Jetson上直接因显存溢出无法加载。

实时性要求极高。变压器局部放电检测要求推理延迟不超过50毫秒，绝缘子缺陷检测需要在视频流中逐帧推理——每帧处理时间不能超过33毫秒（30fps）。在服务器上轻松达标的模型，到边缘设备上可能慢10倍。

环境恶劣。变电站现场高温、高湿、强电磁干扰，设备长期运行必须考虑散热和稳定性。这意味着不能简单堆硬件——更大GPU意味着更高功耗和更多散热问题。

模型转换三部曲：PyTorch→ONNX→推理引擎

边缘部署的第一步，是把训练框架的模型转换为可在目标设备上高效执行的格式。这个过程分三步走。

第一步：PyTorch导出ONNX。ONNX（Open Neural Network Exchange）是跨框架的中间表示格式。PyTorch模型通过torch.onnx.export导出为.onnx文件，这是模型从训练环境走向部署环境的第一步。这一步需要特别注意算子兼容性——PyTorch中某些自定义算子在ONNX中可能没有对应实现，需要手动替换或注册自定义算子。

第二步：ONNX优化与简化。导出的ONNX模型可能包含冗余节点（如训练时用的Dropout）、不必要的类型转换等。使用onnx-simplifier工具可以对计算图进行简化和优化，减少推理时的计算量和内存占用。

第三步：ONNX→推理引擎。这是最关键的一步，根据目标硬件选择不同的推理引擎：

INT8量化：精度与速度的精密手术

INT8量化是边缘部署最核心的技术。它不是简单地把浮点数截断成整数，而是一套精密的"压缩手术"——通过智能校准保留关键信息，在几乎不损失精度的前提下，将模型体积缩小近4倍，推理速度提升2至4倍。

量化的数学原理。核心公式很简单：Q = round(X / S) + Z。其中X是原始浮点数，S是缩放因子（scale），Z是零点（zero point），Q是量化后的整数值。反量化时：X = (Q - Z) × S。关键在于如何确定最优的S和Z，使得量化误差最小。

训练后量化（PTQ）vs 量化感知训练（QAT）。

训练后量化不需要重新训练模型，只需少量校准数据（通常500-1000张图片）来统计各层激活值的分布范围，然后计算最优量化参数。TensorRT的熵校准（Entropy Calibration）和MinMax校准是两种常用策略，可以在不重新训练的情况下完成FP32到INT8的转换，精度损失控制在1%以内。

量化感知训练则是在训练阶段就模拟量化操作，让模型适应低精度计算。精度更高，但需要训练数据和训练环境，工程成本显著增加。在电力场景中，大部分情况PTQ就够用了——只有对精度要求极高的关键场景才需要QAT。

NPU部署：国产芯片的实战路径

很多电力场景对成本敏感，国产RK3588芯片（6 TOPS NPU，售价仅几百元）成为热门选择。但RKNN部署有自己的坑。

算子支持有限。RKNN NPU支持的算子种类远少于GPU。某些在PyTorch中常用的算子（如特定激活函数、注意力机制中的复杂操作）在RKNN中可能不支持，需要手动拆分或替换。通常的做法是：NPU能跑的层跑在NPU上，不支持的层自动回退到CPU执行——但这会引入NPU↔CPU之间的数据拷贝开销，拖慢整体推理速度。

量化精度校准。RKNN主要支持非对称量化（asymmetric quantization），量化范围不必对称于零点。校准时需要提供代表性的数据集，让RKNN Toolkit统计各层激活值的分布范围。校准数据的质量直接决定量化后的精度——如果校准数据不具代表性，某些层的量化误差可能很大。

多核调度。RK3588有3个NPU核心，可以并行执行不同模型或同一模型的不同批次。RKNN Toolkit支持多模型加载到不同NPU核心，实现并行推理。例如，在一个核心上跑缺陷检测模型，另一个核心上跑PPE检测模型，第三个核心上跑仪表读数识别——三个模型并行运行，互不干扰。

多模型并行：边缘设备的资源调度

变电站现场往往需要同时运行多个AI模型：绝缘子缺陷检测、安全帽佩戴识别、仪表读数OCR、声纹异常检测……这些模型的输入源不同（摄像头、麦克风、传感器），推理频率不同，优先级也不同。如何在一个边缘设备上高效调度它们？

模型池化。将所有模型预加载到内存中，通过调度器按优先级和时间片分配计算资源。高优先级模型（如安全告警类）优先执行，低优先级模型（如定期巡检类）在空闲时执行。

动态批处理。对于同类型模型（如多个摄像头的缺陷检测），可以将多个输入拼接成一个batch，一次推理同时处理多路输入，减少模型加载和调度的开销。

模型轻量化组合。不是所有模型都需要INT8量化。安全告警类模型对延迟敏感但对精度可以稍作妥协，用INT8。仪表读数识别对精度要求高但不需要每帧都跑，可以用FP16甚至FP32。根据场景需求组合不同精度的模型，在整体资源预算内达到最优效果。

端云协同：边缘与云端的分工

边缘设备不可能解决所有问题。合理的架构是"边缘预处理+云端深度分析"。

边缘负责实时检测。轻量级模型在边缘设备上实时运行，处理高频率的检测任务——缺陷识别、安全告警、异常检测。要求低延迟，50毫秒内完成推理。

云端负责深度分析。复杂模型（如大型视觉模型、多模态融合模型）在云端服务器运行，处理低频率的分析任务——故障根因诊断、趋势预测、知识图谱推理。对延迟不敏感，但需要大算力。

智能上传。边缘设备不是把所有数据都传到云端，而是只上传"有价值"的数据——检测到异常时的图像、需要深度分析的样本、定期汇总的统计报告。这大幅减少了上行带宽需求，也降低了数据安全风险。

踩坑指南：那些文档里不写的事

边缘AI部署的坑，远比想象中多。以下是电力场景中常见的踩坑点和解决方案。

坑1：ONNX导出后精度骤降。PyTorch模型导出ONNX后精度突然下降几个百分点。常见原因：动态轴处理不当导致batch维度错误、某些算子的数值精度差异（如GELU在ONNX opset 13和20中的实现不同）。解决：逐层对比PyTorch和ONNX的中间输出，定位精度偏差的层，针对性调整。

坑2：INT8量化后某些类别完全检测不到。校准数据分布不均，导致少数类别的激活值被"挤压"到量化范围之外。解决：确保校准数据覆盖所有类别，必要时对少数类别进行过采样。

坑3：RKNN推理结果与ONNX不一致。NPU算子实现与CPU存在数值差异，特别是sigmoid、softmax等函数在INT8量化后可能产生较大误差。解决：将误差大的层指定为CPU执行，或在模型设计阶段就避免使用RKNN支持不佳的算子。

坑4：多模型并行时内存溢出。同时加载3-4个模型到内存，超出设备限制。解决：按需加载模型——不用时释放内存，需要时重新加载。虽然会增加冷启动时间，但可以避免OOM崩溃。