端侧 AI 落地：Flutter App 从模型到设备的

端侧 AI 落地 Flutter，真不是把模型塞进 App 就完事。

真正卡人的是：模型能不能转、设备能不能跑、问题出在哪，还有 Flutter 和原生层怎么接。我挑了 5 个开源工具，刚好串成一条验证链。

LiteRT-LM 适合先试大模型。它能在手机本地跑文本、图片、语音模型，省掉云端等待和数据外传。最新版加了 Gemma 4 的图像和音频输入。不过 Flutter 接口靠社区维护，0.x 版本 API 还可能变，得在真机上盯内存和 GPU。

MNN 和 ncnn 更像嵌入手机的引擎。MNN 包体小，3 亿参数量化后约 173MB，iPhone 18 Pro 上测到约 350 token/s。但这是维护者数据，不代表所有手机都能跑到。ncnn 专攻视觉，扫码、相机识别这类低延迟场景正合适，直接走 CPU 或 GPU。

Model Explorer 和 ONNX 管交付前那一步。前者把计算图画出来，专门找转换后多出来、缺失或形状不对的节点。后者是通用交换格式，让 PyTorch 训练出来的模型能接不同运行时。但图能打开不代表手机后端全支持，算子、动态形状和量化方案都可能丢。

所以落地顺序很关键：先挑一个真实场景跑通——模型转换、真机推理、原生桥接、内存耗时记录。建议先用 LiteRT-LM 探路，再上 MNN 和 ncnn 做嵌入。