嵌入式时序AI模型调研(二):嵌入式部署研究

——从PyTorch到MCU的完整部署工作流

导读： 训练好的AI模型怎么塞进一块几十块钱的MCU里？INT8量化后精度到底掉多少？没有NPU的芯片能跑Transformer吗？瑞芯微的NPU相比纯CPU能快多少倍？本文用一篇讲清楚。

适用平台： STM32、瑞萨RA/RH850、英飞凌PSoC/TC3xx、瑞芯微RK系列、ESP32等

📑 目录

• 一、总览：嵌入式AI部署全景 — 核心流程、有NPU vs 无NPU对比、推荐工作流
• 二、模型导出与优化 — ONNX导出、INT8量化（PTQ/QAT）、精度评估
• 三、无NPU平台部署方案 — CMSIS-NN、TFLite Micro、瑞萨/英飞凌部署
• 四、有NPU平台部署方案 — RKNN部署、NPU加速效果、注意事项
• 五、硬件平台选型指南 — 10款MCU选型矩阵、决策树、平台对比
• 六、实战案例 — 5个真实MCU部署案例（STM32/ESP32/STM32N6），含模型大小、推理时间、内存占用
• 七、常见问题与调试 — 问题排查、调试技巧、性能分析工具
• 八、总结 — 工作流选择建议、未来趋势

一、总览：嵌入式AI部署全景

1.1 部署核心流程

无论目标平台是什么，嵌入式AI部署都遵循以下核心流程：

图：嵌入式AI部署核心流程

每个环节的关键决策点：

1.2 有NPU vs 无NPU：工作流对比

1.3 推荐工作流

无NPU MCU推荐工作流

图：无NPU MCU推荐工作流

适用平台： STM32、瑞萨RA/RH850、英飞凌PSoC/TC3xx、ESP32

推荐框架选择：

有NPU MCU/SoC推荐工作流

图：有NPU MCU/SoC推荐工作流

适用平台： 瑞芯微RK35xx系列、ESP32-P4、NXP i.MX RT1180、全志V853

推荐框架选择：

二、模型导出与优化

2.1 ONNX导出

ONNX是嵌入式部署的通用中间格式，几乎所有部署框架都支持ONNX输入。

model.eval()
torch.onnx.export(
    model, dummy_input, "model.onnx",
    input_names=['input'], output_names=['output'],
    opset_version=11, do_constant_folding=True
)

关键参数说明：

• opset_version=11：嵌入式推荐，兼容性最好
• do_constant_folding=True：常量折叠优化
• 固定输入尺寸比动态shape更利于嵌入式部署

导出后验证： 用 onnx.checker.check_model() 验证结构，再用 onnxruntime 推理对比PyTorch输出误差。

ONNX简化： 使用 onnxsim.simplify() 进行常量折叠和死代码消除。

2.2 量化技术

量化是嵌入式部署的关键步骤，将FP32模型压缩为INT8/INT16，大幅降低内存占用和推理时间。

💡 工程师笔记： 对于BMS等对精度要求高的场景，建议先用PTQ快速验证，若精度不满足再切换QAT。大多数情况下PTQ + 良好的校准数据集就够了。

训练后量化（PTQ）

最常用的量化方式，无需重新训练：

from onnxruntime.quantization import quantize_dynamic, QuantType

quantize_dynamic(
    model_input="model.onnx", model_output="model_int8.onnx",
    weight_type=QuantType.QInt8,
    op_types_to_quantize=['MatMul', 'Conv']
)

静态量化（精度更高）： 需要提供校准数据集，实现 CalibDataReader 类后调用 quantize_static()，QDQ格式更适合嵌入式。

量化感知训练（QAT）

精度要求高时使用，在训练过程中模拟量化效应：

import torch.quantization as quant
model.qconfig = quant.get_default_qat_qconfig('fbgemm')
quant.prepare_qat(model, inplace=True)
# 正常训练 → model.eval() → quant.convert(model) → export

量化精度评估

分别用原始模型和量化模型对同一测试集推理，计算MSE、MAE、最大绝对误差。若精度损失超过阈值，可尝试：改用QAT、调整 per_channel 参数、对关键层保持FP16。

三、无NPU平台部署方案

3.1 CMSIS-NN（ARM Cortex-M首选）

CMSIS-NN是ARM官方神经网络推理库，手写汇编优化，针对Cortex-M系列深度优化。

支持的算子： 卷积(arm_convolve_HWC_q7)、全连接(arm_fully_connected_q7)、LSTM(arm_lstm_unidirectional)、池化、激活函数、Softmax

转换方式：

核心推理流程：

#include "arm_nnfunctions.h"

// 输入量化 → 卷积 → ReLU → 全连接 → Softmax → 输出反量化
arm_convolve_HWC_q7_basic(input, IH, IW, IC, weights, OC, K, bias,
    BIAS_SHIFT, OUT_SHIFT, temp_buf, output);
arm_relu_q7(output, size);
arm_fully_connected_q7(output, fc_w, in, out, BS, OS, temp, output);
arm_softmax_q7(output, out, output);

性能优化技巧： 循环展开(1.2-1.5x)、内存32字节对齐(1.1-1.2x)、CMSIS-DSP加速(1.5-2x)、激活函数查表(5-10x)、缓冲区复用(内存减半)

3.2 TFLite Micro（跨平台首选）

Google官方嵌入式推理框架，支持ARM、RISC-V、Xtensa等架构，核心库仅约16KB。

转换流程： ONNX → TensorFlow → TFLite（含INT8量化）

converter = tf.lite.TFLiteConverter.from_saved_model("tf_model")
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT8]
converter.representative_dataset = representative_dataset
tflite_model = converter.convert()

嵌入式集成核心步骤：

// 1. 创建解释器并分配张量
tflite::MicroInterpreter interpreter(model, resolver, arena, arena_size);
interpreter.AllocateTensors();
// 2. 填入输入 → 3. interpreter.Invoke() → 4. 读取输出

内存优化： 张量共享(内存减30-50%)、算子融合、静态分配、选择性链接(库体积减半)

3.3 瑞萨RA系列部署

RA8M1基于Cortex-M85 + Helium SIMD，AI/ML加速3-5倍，2MB Flash + 1MB SRAM。

部署流程： PyTorch → ONNX → e² studio导入 → FSP AI模型转换 → Helium优化编译 → RA8M1运行

3.4 英飞凌PSoC/XMC部署

英飞凌提供ModusToolbox ML + Imagimob AI工具链，支持AutoML和端到端部署。

from imagimob import ModelCompiler
model = ModelCompiler.load('model.onnx')
model.quantize(target='int8')
model.compile(target='psoc6', output='model_src/')

3.5 无NPU平台CPU优化策略

激活函数查表实现：

static const int8_t sigmoid_table[256] = { /* 预计算值 */ };
int8_t sigmoid_lookup(int8_t x) {
    return sigmoid_table[(uint8_t)x];  // uint8索引直接映射0-255
}

模型选择优先级（无NPU）： DLinear > ModernTCN > LSTM > iTransformer > PatchTST

⚠️ 踩坑提醒： 模型选型比部署优化更重要。一个100K参数的DLinear在STM32F4上推理15ms，而1M参数的Transformer在STM32H7上需要200ms+。先选对模型，再优化部署。

四、有NPU平台部署方案

4.1 瑞芯微RKNN部署（NPU加速首选）

RKNN-Toolkit2支持PyTorch/ONNX/TensorFlow模型转换，INT8/INT16量化，算子融合和模型压缩。

from rknn.api import RKNN
rknn = RKNN()
rknn.config(target_platform='rk3588')
rknn.load_onnx(model='model.onnx')
rknn.build(do_quantization=True, dataset='calib_data.txt')
rknn.export_rknn('model.rknn')

RK3588 NPU加速效果：

4.2 NPU部署注意事项

🔑 关键认知： NPU不是万能的。NPU只加速它支持的算子（如卷积、矩阵乘），不支持的算子会自动回退到CPU执行。如果模型中包含大量NPU不支持的算子（如自定义激活函数），加速效果会大打折扣。

1. 算子兼容性：NPU不支持所有算子，不支持的算子自动回退到CPU
2. 量化校准：NPU通常要求INT8量化，校准数据需覆盖典型场景
3. 内存分配：NPU有专用内存，需合理分配输入/输出/中间tensor
4. 异步推理：NPU支持异步推理，可实现流水线并行

五、硬件平台选型指南

5.1 无NPU MCU选型矩阵

5.2 有NPU MCU/SoC选型矩阵

5.3 选型决策树

图：MCU选型决策树（按NPU需求→模型大小→内存容量分层决策）

补充决策维度：

5.4 各平台对比总结

📌 厂商覆盖说明： 本文覆盖了国际主流MCU厂商（ST、NXP、英飞凌、TI、Microchip、瑞萨）和国产主流厂商（兆易创新、瑞芯微、乐鑫、全志），涵盖汽车电子、工业控制、IoT三大应用领域。

六、实战案例：真实MCU部署案例汇总

📌 说明： 以下案例均为真实在MCU/嵌入式平台上部署并实测的案例，数据来自厂商官方报告、学术论文或开发者实测博文，附有信源链接。

6.1 案例一：STM32F407 手势识别部署（开发者实测）

来源： CSDN开发者博文（LCG元），2025年12月

信源链接：https://blog.csdn.net/michael_jovi/article/details/156116923

案例概述： 将TensorFlow Lite手势识别CNN模型通过STM32Cube.AI部署到STM32F407VET6（Cortex-M4F @ 168MHz），使用MPU6050六轴传感器采集加速度数据，识别5种手势（上划/下划/左划/右划/静止）。

实测部署数据：

部署工具链： TensorFlow 2.x → TFLite（INT8量化）→ STM32Cube.AI → STM32F407

6.2 案例二：ESP32-S3 语音关键词检测（开发者实测）

来源： ESP32-S3端侧AI产品实战分析，2026年

信源链接：https://m.toutiao.com/group/7636669681608229376/

案例概述： 将DS-CNN关键词检测模型通过TFLite Micro部署到ESP32-S3（Xtensa LX7 @ 240MHz），实现离线语音唤醒和命令词识别。

实测部署数据：

关键结论： ESP32-S3的AI向量指令集对CNN推理加速显著，150KB的DS-CNN模型可完全放入SRAM运行，无需外扩PSRAM。

6.3 案例三：ESP32-S3 人脸检测部署（开发者实测）

来源： ESP32-S3端侧AI产品实战分析，2026年

信源链接：https://m.toutiao.com/group/7636669681608229376/

案例概述： 将MobileNet-SSD变体人脸检测模型部署到ESP32-S3，用于AI智能门禁场景，本地完成人脸检测和识别，无需云端。

实测部署数据：

关键结论： 人脸检测模型较大（1.5MB），需存储在PSRAM中。PSRAM访问延迟比SRAM高，需仔细规划内存布局。关闭Wi-Fi/BT可提升实时性。

6.4 案例四：自供能TinyML预测性维护系统（IEEE TIM论文）

来源： IEEE Transactions on Instrumentation and Measurement, 2023 — 陈梓杰、梁俊睿（上海科技大学）

信源链接：https://ieeexplore.ieee.org/document/10229236

案例概述： 基于自供电振动传感和TinyML的端侧预测性维护系统，在微控制器上运行轻量级ML模型（Autoencoder），实现对三种振动故障特征和其他特征的准确分类。

实测部署数据：

6.5 案例五：STM32N6 人脸识别门禁系统（ST官方案例）

来源： ST官方边缘AI案例库

信源链接：https://www.st.com/content/st_com/zh/st-edge-ai-suite/case-studies/secure-entry-systems-using-id3-face-recognition-with-liveness-detection.html

案例概述： 基于STM32N6 MCU（集成Neural-ART NPU加速器），实现人脸识别+活体检测的安防门禁系统。通过RGB摄像头与ToF传感器进行边缘处理，全部推理在MCU端完成。

部署数据：

6.6 案例总结与选型建议

💡 工程师笔记： 从以上真实案例可以看出，数十KB的模型在168MHz MCU上推理时间约7-8ms；150KB的模型在240MHz MCU上推理时间约100ms级；1.5MB的模型需要PSRAM支持。模型大小每增加一个数量级，推理时间和内存需求也相应增加。选型时务必先量化模型、评估资源需求，再选择合适的MCU平台。

七、常见问题与调试

7.1 部署问题排查

7.2 调试技巧

// 调试宏：打印张量前10个元素，逐层排查
#define DEBUG_TENSOR(name, tensor, size) \
    printf("%s: ", name); \
    for (int i = 0; i < (size > 10 ? 10 : size); i++) \
        printf("%.4f ", tensor[i]); \
    printf("\n");

7.3 性能分析工具

八、总结

8.1 部署工作流选择建议

8.2 未来趋势

1. 编译器优化：MLIR、TVM等编译器将提供更自动化的优化
2. 神经架构搜索（NAS）：自动搜索适合嵌入式的模型结构
3. 稀疏计算：利用模型稀疏性进一步加速
4. 混合精度：FP16/INT8混合精度成为主流
5. 边缘AI芯片：专用NPU逐渐普及，降低部署门槛

附录：参考资料

A. 官方文档

• CMSIS-NN: https://arm-software.github.io/CMSIS_5/NN/html/
• TensorFlow Lite Micro: https://www.tensorflow.org/lite/microcontrollers
• STM32Cube.AI: https://www.st.com/en/embedded-software/x-cube-ai.html
• RKNN-Toolkit2: https://github.com/rockchip-linux/rknn-toolkit2
• Renesas FSP: https://www.renesas.com/en/software-tool/flexible-software-package
• ModusToolbox: https://www.infineon.com/modustoolbox

B. 开源项目

C. 学习资源

• 《TinyML》书籍
• Coursera: Introduction to Embedded Machine Learning
• ST/瑞萨/英飞凌官方AI教程
• ARM AI开发者社区

文档完成