夜雨聆风QAI AppBuilder (Quick AI Application Builder") 是基于 QAIRT (Qualcomm AI Runtime) 的开源、高通平台AI应用开发工具。QAI AppBuilder 最初是作为 QAIRT 的一个wrapper推理引擎，并提供python推理接口和openai-compatible端侧LLM服务接口，降低了开发者使用QAIRT SDK在高通平台开发的门槛，并提供常见的sample应用，加速了高通平台的开发工作。
随着Agent的不断发展，QAI AppBuilder也借助Agent的能力不断增强自身功能，最近，基于QAIRT SDK 2.48版本，QAI AppBuilder 推出了3.0版本，从功能来看，这无疑是一次重磅升级。
1. Key Features
1.1 核心功能
支持 NPU/GPU/CPU 推理: 可以在高通NPU/GPU/CPU上加载并运行QNN context binaries (.bin),DLC (.dlc) 格式的AI模型
同时支持Python和C++语言 API 接口
跨平台支持：一套API支持在 Windows on Snapdragon (ARM64) 和 Linux (ARM64) 平台使用
Agent驱动的模型转换：你可以使用自然语言（prompt）将训练好的模型（PyTorch/ONNX/TFLite）转换成各种精度(FP16/W8A16/W8A8/W4A8) 的QNN格式的模型，再也不用记忆复杂的命令行工具和Context Binary生成时的配置文件
预编译模型导入：你可以在QAI AppBuilder中直接使用高通AIHub中预编译、优化后的模型，关于AIHub的更多内容可以参考：https://aihub.qualcomm.com/models
1.2 高级特性
本地大语言模型服务支持：你可以通过GenieAPIService (OpenAI-compatible API)在高通设备上部署LLM/VLM（目前支持Llama 3, Qwen 3, Gemma 2等）
多模态支持：内置了视觉、语音、文本处理等应用（比如Whisper ASR, MeloTTS, PP-OCR, super-resolution, Yolo Series object detection）
提供一系列 内置的 WebUI 应用: 如StableDiffusionApp, ImageRepairApp, GenieWebUI，你可以在断网的情况下离线使用这些App，生产力瞬间拉满
SKILL插件系统：通过热加载的SKILL扩展App Builder的能力
Native & Float I/O: Native (quantized) and float I/O for maximum throughput; multi-graph sessions; LoRA adapter support
2. QAI ModelBuilder
QAI ModelBuilder 是 QAI AppBuilder 3.0 版本的中最重要的内容，通过内置和模型转换、模型优化、模型运行Skill以及优秀的Agent的编排能力，使你在高通设备上可以拥有一站式、端到端的模型部署和应用开发体验，你只需要使用自然语言，将你需要转换的模型和需要构建的应用告诉QAI ModelBuilder，QAI ModelBuilder就可以帮助你转换和优化得到生产级别的QNN格式的模型，并帮助你随时构建应用demo，获得直观体验。
2.1 QAI ModelBuilder 具有如下特征：
应用构建工作台（App Builder Workbench）：一键在本地 NPU 上运行现成模型包；支持多精度变体切换、性能基准测试与并行对比
模型构建Skill（Model Builder Skill）：通过自然语言对话将 PyTorch、ONNX 模型转换为 QNN 格式；支持多种精度规格（FP16、INT8、W8A16 等）；适配约 2GB 以内中小型模型
多智能体对话接口（Multi-Agent Chat Interface）：WebSocket 实时流式传输，可自动降级至 SSE；完整 Markdown 渲染；支持多角色智能体协同讨论模式
内置模型（Built-in Models）：端侧语音识别 ASR（Whisper Base、Zipformer 中文模型）、语音合成 TTS（MeloTTS 中文模型）
NPU 推理守护进程（NPU Inference Daemon）：通过 GenieAPIService 实现本地模型服务管控
安全密钥存储（Secure API Key Storage）：对接系统密钥环，实现凭证安全管理
下载中心（Download Center）：高通通过 AIHub 获取预编译、优化后的 NPU 模型
2.2 QAI ModelBuilder 的架构
采用限界上下文划分的整洁架构（对话模块、应用构建模块、模型构建模块）
分层式架构：分为应用层、协议适配器、前端三层
前端：Vue 3 + Vite，构建自适应交互界面
后端：基于 Python 实现模型推理与模型转换流水线
3. 安装和使用
3.1 QAI AppBuilder Core
如果使用 Python 语言进行开发，通过pip命令
pip install qai-appbuilder就可以安装当前平台支持的最新发行版本，参考samples使用相关API即可进行开发如果使用 C++ 语言进行开发，我们可以从 GITHUB 的 RELEASE 中下载预编译好的安装包
3.2QAI ModelBuilder
需要注意的是QAI ModelBuilder目前release的版本只支持wos(windows on snapdragon)，linux aarch64版本会在随后的release中支持。wos上的安装步骤如下：
从 https://github.com/qualcomm/qai-appbuilder/releases/download/v2.48.40/qaimodelbuilder.zip 下载 qaimodelbuilder.zip
解压，运行
Setup.bat脚本安装必要的包并进行环境配置运行
Start.bat脚本启动应用安装完成后需要登陆 Qualcomm 认证系统，第一次使用的话需先注册账号
登陆完成后就进入到了 QAI AppBuilder/ModelBuilder的 webUI 页面
配置 token 后即可使用
4. 参考
https://github.com/qualcomm/qai-appbuilder/releases
https://github.com/qualcomm/qai-appbuilder/blob/main/docs/user_guide.md
https://aihub.qualcomm.com/models
更多 AI、Agent 和 Robot 干货，欢迎关注「Bob说AI」