【团队研究】解锁千人千面的全双工 AI 语音对话.零重训练、不靠提示词迁移模型对话性格

当屏幕的光缓缓熄灭，我们在声场中彼此相遇

Lulula：下一代全双工声场音频交互界面

2026 年，全双工语音模型已成为 AI 语音交互最拥挤的主战场，头部厂商密集落子。

字节 4 月推出 Seeduplex，并在豆包完成全量落地；5 月，Thinking Machines 发布 Interaction Model，把 "持续在场、原生实时" 写进模型底层设计；7 月，OpenAI 上线 GPT-Live，将 ChatGPT 高级语音整体切换为全双工架构，支持随时插话、同步听与说；9 月，Google 发布 Gemini 3.8 Live 及 Live Extended Thinking，主打 "边想边说" 与 97 种语言实时切换，其中 Extended Thinking 以 82.6 分登顶 Artificial Analysis 语音指数；10 月，xAI 的 Grok Voice 3.0 在 Full Duplex Bench 的测试任务上拿下 97% 的得分，并已落地特斯拉车载与星链客服场景，每日承载数万通真实通话。

至此，"边听边说" 已从差异化卖点，变成几乎所有一线厂商的产品主线。

但一个被工程叙事遮蔽的问题正在浮出水面。这些模型每一套权重，只编码一种对话性格。全双工架构赋予了模型 "何时开口" 的判断能力，却没有赋予产品团队调整这个判断的权力。现实世界里，人类说话风格千差万别，有人健谈主动，有人内敛少言，任何一套 "出厂性格" 都无法覆盖所有人。

差异从架构选择里就已注定。GPT-Live-1 追求“音频流永不中断”，模型倾向于用声音填满沉默，用户稍有停顿就可能被接话；Grok Voice 3.0以低延迟和高任务完成率为优化目标，轮次转换偏“快速接管”，用户话音将落未落，它已准备开口；Gemini 的 Live 版本虽补上了实时能力，但轮次式架构的惯性仍在，节奏偏“推进型”而非“自然型”。

每一家都在用架构选择替用户预设一种对话节奏，用户拿到的是一个锁死的 "出厂性格"。

过去想改变AI的对话节奏，无非三条路：

• 微调训练：需要海量标注对话数据，为不同性格产出独立模型版本，成本高昂，版本维护负担重

• 指令提示：依靠 prompt 约束说话习惯，团队研究论文实测指令遵从率仅 64.4%，稳定性差，复杂对话场景容易失效

• 外部预测器：可以预判话轮时机，但无法直接干预模型内部生成行为，只能做外部后处理

过去的三种主流解决方案都绕开了同一个核心问题，话轮切换在模型内部到底以什么形态存在？

如果它本身不是一个可连续调节的量，外部手段再精巧，也只能在边界上打补丁。

近日，Lulula 团队联合香港中文大学（深圳）、墨尔本大学学者，发布全新研究《Reference‑Guided Turn‑Taking Style Transfer For Full‑Duplex Spoken Language Models》，无需模型重训练、无需依赖提示词与外部预测器，仅靠一段 5 分钟的人类参考录音，就能把真人的话轮切换风格迁移给全双工口语模型，为个性化对话节奏难题提供了一条新路径。

论文发现，全双工模型“是否开口”的决策，在深层残差流中收敛为一个单一方向——主动性向量（Initiative Vector）。模型包含32层时序Transformer，其中第30层（L30）是扰动仍能被完整 Transformer 块处理并写入 KV cache 的最深层。在这一层，取两类帧的激活均值之差即可得到该向量，一类是“静默后800毫秒内开口”的帧，另一类是“持续静默”的帧，两者相减并归一化。这个向量既能用于读取，也能用于改写。

• 读取层面：L30 的投影可以提前最高 800 毫秒预判模型是否开口。在 Moshika、Moshika-RL、PersonaPlex 三套权重上，区分“接下来 800 毫秒内开口”与“持续沉默”的 AUC 达到 0.818–0.898。仅依赖双方说话时序特征的基线为 0.646–0.725。即使没有最新文本信息，AUC 仍维持在0.806–0.893。

• 改写层面：在生成阶段沿该方向施加缩放，模型说话占比可从 6–12% 平滑调节到 42–61%（具体区间取决于模型与调节强度），无干预时的默认区间为 21–30%。

通过调节向量强度，模型说话占比可在 6–12% 到 42–61% 之间平滑调节，而无干预的默认区间为 21–30%；同一套向量跨不同模型权重、跨不同对话数据集均可复现；范数匹配的随机向量无法实现同等效果。这证明它是一个专门控制 "开口意愿" 的专属方向，而非扰动带来的副作用。

这项研究最具商业想象空间的部分，是参考引导式话轮风格迁移。只需一段普通人 5 分钟的录音，提取三个关键指标：①说话占比、②重叠插话频次、③响应概率，即可计算出专属调节系数，把这个人的对话节奏无缝迁移到 AI 模型上，全程不微调模型权重，不需要重新训练。

听起来像是一个轻巧的工程魔术，但在真实的商业落地中，更关键的问题是这套轻量级方案到底靠不靠谱。

为了验证其有效性，Lulula 团队基于 Moshika、Moshika-RL、PersonaPlex 三套主流全双工模型，在 568 个真实说话人样本、上千段对话中进行了严苛测试，用四个硬核结论彻底夯实了这项技术的底座：

1

• 实验给出了一个极具冲击力的反例，如果把 A 用户算出的专属参数，强行套用到 B 用户身上，在 92.7%（Base）、98.0%（RL）和 95.6%（PersonaPlex） 的绝大多数场景下，匹配效果都会明显变差。这证明调节系数是高度私有的“数字指纹”，绝非一套通用公式就能糊弄。

2

• 既然不能张冠李戴，那能否找一个“对所有人都勉强凑合”的平均参数？实验数据显示，试图用全局统一参数适配所有人，其最终效果几乎等同于完全不进行任何控制。因为人类真实的对话节奏分布在默认值的两侧，平均策略只能帮到一半人，同时伤害另一半人。

3

• 得益于算法的轻量化，用户仅需 10 段对话即可完成冷启动校准。这套方案能达到事后理论最优效果的 93%–99.5%。这意味着新用户只需上传一段录音即可享受“量身定制”的体验，企业完全不需要重新运行模型或微调权重，极大压低了规模化交付的边际成本。

4

• 论文最具长期价值的一点是，同一个说话人在三套完全不同的主流模型上算出的校准参数，具备高度相关性（斯皮尔曼相关系数达 0.70–0.81）。这说明系统捕捉到的是人类真实的话轮风格本身，而不是某个模型权重的偶然特性。对于企业而言，这意味着一旦建立了用户的个性化画像，未来无论底层模型如何迭代、替换，这份珍贵的用户资产都能无缝迁移。

传统实现差异化语音交互的路径成本很高，要么维护多套模型 checkpoint，算力与研发成本高；要么依赖 prompt 指令，稳定性差。而 Lulula 这套基于激活引导（Activation Steering）的方案，只在推理阶段施加轻量干预，不改动主干模型权重，算力开销很低。在产品侧，既可以做成可视化调节旋钮，让用户手动调整 AI 的主动程度；也可以上传一小段用户语音，自动算出适配参数。在不伤害模型原有理解、生成能力的前提下，就能解决千人千面交互节奏的痛点。

语音模型的竞争，已经走完 “高识别率、自然合成语音” 的基础阶段，下一阶段比拼的核心是对话动力学、人格适配、真人感交互。全双工模型的对话人格，并非死死锁死在训练权重当中，话轮切换是可以被读取、干预、按个体校准的向量方向。不用重训、不依赖提示词和外挂，依靠推理时激活干预，就完成真人对话节奏迁移。

Lulula 致力于为全双工语音商业化落地补上关键拼图，为可控制语音大模型打开新的想象空间，让专属你的 AI 语音第一次真的“在场”。

🎶