端侧 AI 落地:Flutter App 从模型到设备的 5 个工具

今日判断

端侧 AI 的难点，不只是把模型塞进 App。

真正影响交付的是：模型能不能转换、设备能不能跑、问题能不能定位，以及 Flutter 和原生层怎么衔接。

今天这 5 个项目分别覆盖运行、转换、检查和跨平台互通，适合拿来搭一条验证链。

项目速览

• LiteRT-LM：把文本、图片、语音模型放到手机本地运行。
• MNN：在移动端用较小包体运行 LLM 和多模态模型。
• ncnn：让传统视觉模型在 Android/iOS 上走 CPU 或 GPU 推理。
• Model Explorer：把模型计算图画出来，找转换后的异常节点。
• ONNX：在训练框架和移动端运行时之间传递模型。

1. LiteRT-LM：让 Flutter App 直接接上端侧大模型

这个库帮 App 团队做什么：在手机本地运行大语言模型，减少请求云端的等待和数据外传。

例如，Flutter 做一个离线问答或图片理解功能时，原生层负责加载模型，Dart 层负责展示流式结果。

v0.19.1 于 2026 年 11 月 6 日（北京时间）发布，新增 Gemma 4 的图像和音频输入，并改进 Artisan GPU 上的视觉处理。

图：LiteRT-LM 仓库提供的 Android Demo；用于说明端侧模型交互形态，来源为官方仓库。

官方文档列出 Android、iOS、Web、桌面和 IoT 支持；Flutter 接口目前通过社区维护的 flutter_gemma 接入，不是 Google 官方 Flutter 包。

对谁有用：要做离线问答、图片理解或语音交互，同时能维护少量原生代码的 Flutter 团队。

平台与最低要求：官方未声明统一最低 Android/iOS 版本；Flutter 文档也未声明统一最低 Flutter 版本，需按模型和目标设备验证。

接入成本与风险：推断为中高。模型大小、内存峰值和 GPU 后端差异要在真机测量；0.x API 仍可能调整。

资料：仓库 · Flutter 接口说明 · Apache-2.0 · 6,848 Stars（2026-11-10 北京时间核对）。

2. MNN：把较小的模型装进手机功能里

这个库帮 App 团队做什么：提供一个轻量推理引擎，让模型在手机 CPU、GPU 或专用后端上本地执行。

例如，Flutter 的拍照摘要、离线文本改写或本地分类，可以把模型放进原生层，再通过 MethodChannel 返回结果。

MNN README 在 2026 年 11 月 4 日公布了 MNN-Pocket-0.3B：约 3 亿参数、支持 32K 上下文，INT4 构建约 173 MB；项目给出的测试结果是在 iPhone 18 Pro 上约 350 tok/s。

这里的速度是维护者测试结果，不等于所有手机都能达到。

MNN 同时提供模型转换、压缩和 LLM 运行能力；README 标注 iOS 8+、Android 4.3+，支持 Metal、OpenCL 和 Vulkan。

对谁有用：想控制云端费用，或需要断网运行文本、图像能力的移动端团队。

平台与最低要求：项目文档给出 iOS 8+、Android 4.3+；Flutter 侧需要自行封装原生接口，官方未提供统一 Flutter API。

接入成本与风险：推断为中高。模型文件会明显增加安装包和内存压力，量化后还要回归准确率；部分模型能力依赖特定后端。

资料：仓库 · MNN 3.6.2 · Apache-2.0 · 16,461 Stars（2026-11-10 北京时间核对）。

3. ncnn：移动端视觉模型的底层执行器

这个库帮 App 团队做什么：把目标检测、图片分类等模型放到 Android/iOS 上高效运行，不依赖完整 Python 环境。

例如，Flutter 扫码或相机识别功能可以让 Dart 负责页面，ncnn 负责每帧图像的推理。

ncnn 没有第三方运行时依赖，支持 CPU 和 Vulkan GPU；官方还提供 PyTorch/ONNX 到 ncnn 格式的转换工具。

20261020 发布包包含 Android Vulkan 包和 Apple XCFramework，覆盖 iOS、macOS、watchOS、tvOS 与 visionOS 架构。

对谁有用：需要低延迟相机识别、姿态估计或图像前处理的 Flutter 团队。

平台与最低要求：官方提供 Android、iOS 等预编译包；统一最低系统版本未声明，构建时要按目标架构和 Xcode/NDK 版本验证。

接入成本与风险：推断为中。模型转换、线程数和 GPU 后端都可能改变结果；仓库许可证文件为 BSD 3-Clause，发布前仍应随包核对。

资料：仓库 · 20261020 发布包 · BSD-3-Clause · 24,031 Stars（2026-11-10 北京时间核对）。

4. Model Explorer：先看清模型图，再查移动端为什么跑不对

这个库帮 App 团队做什么：把模型的算子和数据流画成可展开的图，帮助定位转换后多出来、缺失或形状不对的节点。

例如，模型在桌面推理正常、移动端输出异常时，可以先对比转换前后的图，再决定是模型问题还是运行时兼容问题。

图：Model Explorer 官方 README 的模型图界面；用于说明模型检查方式，来源为 Apache-2.0 仓库。

它支持 TFLite、TensorFlow、TFJS、MLIR 和 PyTorch Exported Program，并提供扩展适配器机制。

阶段结论：它不负责在手机上跑模型，但能减少“只看最终输出猜原因”的排查时间。

对谁有用：负责模型转换、量化和端侧推理联调的算法与客户端团队。

平台与最低要求：官方 README 使用 pip install ai-edge-model-explorer，统一 Python 最低版本未在 README 声明；它是桌面调试工具，不是 Flutter 运行时。

接入成本与风险：推断为低到中。不同格式需要对应适配器，图能打开不代表移动端后端一定支持全部算子。

资料：仓库 · 用户指南 · Apache-2.0 · 1,593 Stars（2026-11-10 北京时间核对）。

5. ONNX：避免模型一开始就绑死某个运行时

这个项目帮 App 团队做什么：规定一套通用模型格式，让训练框架、转换工具和移动端运行时之间能交换模型。

例如，算法团队用 PyTorch 训练后，客户端可以先拿 ONNX 做中间产物，再选择 ncnn、MNN 或其他运行时做设备适配。

ONNX 是模型互操作标准，不是手机推理引擎；它的价值在于减少模型转换时的重复绑定。

阶段结论：先确认目标运行时支持的算子集合，再决定是否把 ONNX 作为交付格式，不能只看模型能否导出。

对谁有用：需要在算法、客户端和多个端侧后端之间协作的团队。

平台与最低要求：ONNX 本身不规定 App 最低系统版本；实际门槛由选定的转换工具、运行时、CPU/GPU 后端决定。

接入成本与风险：推断为中。算子、动态形状和量化方案可能在转换时丢失；必须用目标手机做数值和性能回归。

资料：仓库 · 标准文档 · Apache-2.0 · 21,668 Stars（2026-11-10 北京时间核对）。

最后

如果你是 Flutter 团队，建议先选一个真实场景跑通：模型转换、真机推理、原生桥接、内存与耗时记录。

LiteRT-LM 更适合端侧大模型探索；MNN 和 ncnn 更像可嵌入的执行器；Model Explorer 与 ONNX 解决模型交付前后的检查和互通。

数据来源与统计时间

版本、平台、许可证和能力来自各项目官方仓库、Release 与文档；“接入成本”和团队建议为推断。

Stars、归档状态与最近活动于 2026-11-10 北京时间核对。图片来源、许可与处理记录见本地 image-sources.md。