ARTICLE · 1322035
爱芯分享 | 握在手心的离线 AI 助理:让设备听得懂,也能开口回答
作者： 圈圈虫 & 歪思
距离赛博世界中的个人AI更近了一步，它不一定要先有身体，但一定需要一个能和你交流的声音，AX Audio SDK 做的，就是把收音、降噪、语音转文字、大模型回答和语音播报连起来。接好麦克风与扬声器，配置好需要的功能，就可以搭建一套在本地运行的语音交互系统。
开会时，想专心听讨论，又怕漏掉重要信息；练口语时，希望说完一句就能听到译文；做一台桌面小助手，又希望语音和对话都在自己的设备里完成。
这些需求有一个共同点：让 AI 走到身边，用说话完成交互。
源码和模型下载到设备、环境准备好之后，核心语音链路可以离线运行，无需把每次录音发到云端，也不依赖在线推理接口。浏览器则充当它的“控制面板”：调整设置、查看识别文字、阅读回复、试听合成语音，都有直观的入口。
先看看，它能出现在什么地方
会议桌上，先帮你把话留下来
开启语音识别，讨论内容会按话段转成带时间信息的文字，并可保存对应的音频，方便会后回听核对。需要区分发言者时，还可以开启说话人区分功能，为整理多人讨论提供线索。
再往前一步，可以让大模型按提示词提炼每段发言的要点。例如，把任务设为“用简短条目整理这段话中的结论与待办事项”。如果要生成整场会议的完整纪要，则可以在转录结果之上继续接入全文汇总流程。
书桌上，做一个能听、能答的小助手
打开大模型与语音合成，说出问题，设备把语音转成文字，再生成回答并通过扬声器读出来。想让回答更简短，或换成适合讲解知识的表达，可以直接修改提示词。需要连续追问时，也可以调整上下文设置，让对话保留前面的内容。
学习时，试试中英互译与语音问答
项目提供中英互译模式，可以把中文转成英文、把英文转成中文，再选择对应音色播报。用它练习日常表达、对照原文与译文，或者围绕一段材料做问答，都是容易上手的玩法。儿童科普、故事互动，也可以作为提示词与内容设计的拓展方向。
放进智能家居，还能继续往外连接
语音识别与回答能力，可以作为家居中控、桌面机器人或交互终端的语音入口。开发者可在此基础上对接设备控制平台，把“听懂一句话”延伸为具体操作；灯光、空调等控制动作，需要结合自己的系统完成接入。
桌面上的 AI，可以装进多小的设备
聊到本地 AI，硬件也值得看一眼。M5Stack 的 AI Pyramid-Pro 就展示了一种很有吸引力的形态：一个放在桌面上的小金字塔，把计算、收音、播放和外设连接集中在一起。
图1 M5Stack AI Pyramid-Pro 外观与接口（图片来自官方产品文档）
它搭载爱芯元智 AX8850，配备八核 Cortex-A55 处理器和 24 TOPS（INT8）NPU，以及 8GB LPDDR4x 内存。简单理解，CPU 负责系统与日常任务，NPU 负责擅长的 AI 运算，让小型设备也有了承载本地模型的计算基础。专用 AI 加速也为兼顾性能与能效提供了条件，实际功耗仍随模型和运行负载变化。
对语音应用来说，比算力数字更容易感受到的是它的配套：四麦克风输入、内置扬声器、USB 扩展接口和双千兆网口。约 104 × 104 × 59 mm 的机身，可以放在会议桌、书桌或设备旁边。选硬件时，除了模型能不能运行，也要看看收音、播放和连接方式是否适合自己的使用环境。
硬件详情与上手资料请参考M5Stack AI Pyramid-Pro 官方介绍：
https://docs.m5stack.com/zh_CN/ai_hardware/AI_Pyramid-Pro
这里说明一下适配范围：AX Audio SDK 当前仓库提供的预编译程序、模型和部署脚本面向 AX8850 平台。 AI Pyramid-Pro 是基于AX8850 的产品形态之一，在 AX8850 上使用，需要相应的平台适配与验证。下面的快速体验步骤以项目当前支持的 AX8850 板卡为例。
像搭积木一样，组合自己的语音功能
项目地址：
https://github.com/AXERA-TECH/asr-llm-tts-chain
模型资源：
https://huggingface.co/AXERA-TECH/models-for-asr-chain
图2 AX Audio SDK 整体音频链路示意
看这张图，可以先抓住一条主线：收进声音 → 减少噪声干扰 → 找到说话片段 → 转成文字 → 生成回答 → 读出回答。 图中的阵列处理、控制联动等内容也包含拓展方向，具体可用功能以当前版本为准。
其中，语音识别（ASR）负责“把说的话写下来”，大语言模型（LLM）负责“根据文字组织回答”，语音合成（TTS）负责“把回答念出来”。降噪与语音活动检测，则在前面帮助系统处理真实环境中的声音与停顿。
这些功能可以按用途组合：
表1 按用途组合语音功能
想先体验什么
可以怎样搭配
会议记录、访谈转写 | 降噪 + 语音片段检测 + 语音识别；多人讨论可加说话人区分 |
发言要点整理 | 在转写后启用大模型，设置提炼要点的提示词 |
桌面语音问答 | 语音识别 + 大模型 + 语音合成 |
中英互译与朗读 | 语音识别 + 大模型翻译模式 + 对应语言的语音合成 |
只需要记录时，可以关闭回答和播报；需要交互时，再把后面的模块打开。先组合出符合自己用途的功能，再逐步调整体验，会更容易找到适合的设置。
打开浏览器，把体验调成自己喜欢的样子
项目提供基于 Gradio 的图形化配置页面，各模块有独立标签。第一次使用，先设置输入与输出设备；熟悉之后，再尝试调节停顿判断、回答风格和播报音色。
下面是当前项目配置页面的实际截图。
先选声音从哪里来、到哪里去
输入页面支持麦克风等外设，也支持 WAV 文件。手头有一段会议录音，就可以用同一段材料反复比较设置效果；有麦克风时，再切换到现场收音。播放设备也在这里选择，方便搭配自己的 USB 声卡或扬声器。
图3 输入与监听配置：选择外设或 WAV 文件，设置录音和播放设备
有风扇声、空调声，先比较降噪前后的听感
FastEnhance 页面提供降噪开关，配合增强音频监听，可以听一听处理后的声音。WebRTC APM 专用页面则提供回声消除、降噪和自动增益等选项：一边收音、一边播放回复时，可以结合自己的麦克风与扬声器摆放，调整相关设置。
图4 FastEnhance 降噪模块配置
图5 WebRTC APM 配置：回声消除与延迟设置
什么时候算“说完一句”，也可以自己调
语音活动检测（VAD）用来判断声音里有没有人在说话。页面可以调整语音判定阈值、话段长度，以及停顿多久后提交识别。
短句问答，可以尝试缩短等待停顿的时间；连续发言，则可以适当延长话段，让文字保留更多上下文。用同一段音频试几次，就能体会这些设置怎样影响出字节奏。
图6 TEN-VAD 配置：调整语音判定与话段切分
多人讨论时，给发言增加区分线索
CampPlus 页面可以开启说话人区分，并调整相似声音的归并与匹配设置。它适合辅助整理“哪段话可能来自同一个人”，实际效果需要结合收音质量和多人交谈情况判断。
图7 CampPlus 说话人配置
语音识别页面则负责选择识别语言与保存位置。SenseVoice 支持中文、英文、粤语、日语、韩语及自动语言识别；转录文字和话段音频保存在设备上，方便后续整理。
图8 SenseVoice 与输出配置：设置识别语言和文件保存位置
同一台设备，可以换一种回答方式
Qwen3 页面可以打开大模型、编辑提示词、启用中英互译，并调整回答长度与生成参数。想试会议要点整理，可以要求“只列出结论和待办”；想做桌面问答，可以要求“用适合口头表达的短句回答”。这些都是可尝试的任务设置，输出效果可以直接在运行页面查看。
图9 Qwen3 配置：提示词、翻译模式与回答参数
Hojo TTS 页面可以选择中英文音色、调整播放增益，以及是否保留合成音频。可以先用短回复试听，找到适合自己设备和场景的声音，再尝试更长的内容。
图10 Hojo TTS 配置：音色、播放增益与合成音频保存
想继续探索，还可以看看关键词监听
KWS 页面提供关键词概率、连续稳定帧数和触发间隔等设置，适合观察关键词检测的工作方式。当前随附模型主要用于功能验证；如果要做可靠的唤醒词或命令词产品，需要针对目标词汇训练和评估模型，再接入对应动作。
图11 KWS 配置：关键词检测阈值与触发设置
调整时，建议每次只改变一两项，用同一段录音或同一句话比较。配置保存后，需要重启音频链路才会生效。
用脚本部署，从第一次出字开始
项目已经提供 AX8850 平台的预编译程序，以及部署、配置和运行脚本，可以按“下载 → 部署 → 配置 → 运行”开始体验。
先准备一块固件与项目运行要求匹配、能通过 SSH 访问的 AX8850 板卡，并接好音频设备。首次使用需按项目 README 准备板端依赖和模型下载工具；这些准备完成后，日常启动就可以交给脚本。
第一步，在开发机下载项目、模型，并解压预编译程序。
git clone https://github.com/AXERA-TECH/asr-llm-tts-chain.git ax-audio-sdkcd ax-audio-sdkgit clone https://huggingface.co/AXERA-TECH/models-for-asr-chaintar -xzf build_release.tar.gz
第二步，一条命令部署到板卡。 把示例地址换成自己的板端 IP。
TARGET=root@192.168.1.100 TARGET_DIR=/opt/ax-audio-sdk ./scripts/deploy-ax8850.sh脚本会传输所需文件并检查运行依赖。后续更新支持增量传输，已有且未变化的模型无需重复拷贝。
第三步，登录板卡，打开配置页面。
ssh root@192.168.1.100cd /opt/ax-audio-sdkMAIN_PORT=7870 APM_PORT=7871 ./scripts/start-ui.sh
用同一局域网的浏览器访问 http://<板端IP>:7870，选择实际的录音与播放设备，按用途开启模块并保存。APM 专用设置页为 http://<板端IP>:7871，也可以从主配置页进入。
第四步，在板端另开一个终端，启动音频链路。
cd /opt/ax-audio-sdk./scripts/run-target.sh
浏览器访问 http://<板端IP>:7862，就能查看运行状态：识别到了哪些文字，大模型给出了什么回答，以及最近一次合成的语音。停止运行时，在启动终端按 Ctrl+C 即可。
图12 运行状态页面：语音识别、模型回答与合成音频集中展示（此图为本地启动后的等待输入状态）
这个页面适合边说边看，也适合用录音做对照。先确认识别文字是否正确，再看回答是否符合提示词，最后听一听播报效果，就能逐步调整出自己想要的交互方式。
从一个小用途，做出自己的离线 AI 助理
第一次体验，可以从一分钟录音开始：看看转写结果，再打开大模型试试提炼要点；或者开启中英互译，让设备把一句话换一种语言读出来。
等这些功能用顺手了，再尝试连续问答、不同音色、多人发言区分，或把语音入口接进自己的应用。会议记录、学习陪伴、桌面助手和家居交互，都可以从这套语音链路继续生长。
让 AI 听见你、理解文字、再开口回应，这一整段体验，可以从自己的设备上开始。
项目源码与完整上手说明：
https://github.com/AXERA-TECH/asr-llm-tts-chain
