ARTICLE · 1396604
不跳转 App,怎么实现在 iPhone 键盘里直接录音?

我是豆包语音输入法的长期用户,用得也多。想在聊天框里回一句话,点语音键却先跳到输入法 App。就算能自动切回来,这一下也会打断我。想必这个体验还是非常差,用过语音输入法的都有所感触,但是这确实是苹果的系统限制。这个系统限制被Raycast发现并解决了。但不确定苹果会不会后续禁止掉这个解决办法。如果禁止掉,那只能说苹果为了隐私放弃了大家的用户体验。但看起来目前是支持的。
传统做法要先打开输入法 App
iOS 限制第三方键盘扩展直接访问麦克风。以前 Raycast 的做法是,点键盘上的听写键,先打开 Raycast 主 App 启动录音,再回到原来的输入框。录音会话还在时,后续可以直接说。会话结束后,再听写就得重新启动。
豆包的旧版悬浮窗模式也需要先跳一次,窗口存在期间可以继续说。这个模式后来改名为「默认模式」。Wispr Flow 的 iPhone 指南也提到,从其他 App 的键盘点 Start 可能先打开 Flow,自动返回不可用时需要手动切回去。
Raycast 在键盘里用 WebKit 录音
Raycast iOS 1.5.5 把录音放到了当前界面。它在键盘里嵌入一个 WKWebView,让 WebKit 采集麦克风音频。WKWebView 是 iOS 用来在 App 里显示网页内容的组件。
KeyboardKit 原文《Raycast 如何实现键盘听写免跳转》 :https://keyboardkit.com/blog/2026/11/20/raycast-has-solved-keyboard-dictation-without-main-app-round-trip

图 1。会话尚未启动时,依赖主 App 的典型流程与 Raycast 1.5.5 的流程。根据产品文档和 KeyboardKit 原文绘制。
声音怎么变成输入框里的字?
iPhone 的第三方键盘在独立进程里运行。按公开演示的解释,键盘里的网页通过 getUserMedia 请求麦克风,WebKit 在自己的进程里处理媒体采集,因此用户可以留在原来的 App 里开始录音。
Stephan Cilliers 的开源演示把这条链路串了起来。网页把麦克风音频切成一小段一小段的 PCM,也就是数字化的声音采样,再通过 WebView 的消息通道发给键盘里的 Swift 代码。Swift 把音频持续交给 Apple Speech 转成文字,再通过 iOS 提供的文本代理 textDocumentProxy 更新输入框。

图 2。公开演示里,声音从麦克风到输入框的路径。根据 Stephan Cilliers 的仓库文档绘制。
图里的 PCM 处理和 Apple Speech 来自开源演示。Raycast 正式版用的识别引擎,公开资料还没交代。

代码示例
https://github.com/stephancill/ios-keyboard-dictation
下面的片段可以分别放进 WebView 的网页代码和键盘扩展的 Swift 代码。完整演示里还有权限设置、音频重采样和流式识别。
JavaScript · 开始和停止采音
在用户点听写键后调用 startCapture(),把返回的音频流接到音频处理代码。结束听写时调用 stopCapture(stream),释放麦克风。
async function startCapture() { return navigator.mediaDevices.getUserMedia({ audio: true });}function stopCapture(stream) { for (const track of stream.getTracks()) { track.stop(); }}JavaScript · 把 PCM 片段发给 Swift
每次音频处理代码产出一小段 16 位采样,就把它作为 Int16Array 传给 sendPCM(samples)。这里用 Base64 把音频字节封成消息。
function sendPCM(samples) { const bytes = new Uint8Array( samples.buffer, samples.byteOffset, samples.byteLength ); let binary = ""; for (const byte of bytes) { binary += String.fromCharCode(byte); } window.webkit.messageHandlers.capture.postMessage({ type: "audio", data: btoa(binary) });}Swift · 接收音频片段
创建 WebView 时注册同名的 capture 处理器。调用 makeCaptureWebView(onAudio:) 时,把数据回调接到你的转写器。传入转写器的采样率和声道数要与网页端产出的 PCM 一致。
import Foundationimport WebKitfinal class CaptureBridge: NSObject, WKScriptMessageHandler { private let onAudio: (Data) -> Void init(onAudio: @escaping (Data) -> Void) { self.onAudio = onAudio } func userContentController( _ controller: WKUserContentController, didReceive message: WKScriptMessage ) { guard message.name == "capture", let payload = message.body as? [String: Any], payload["type"] as? String == "audio", let encoded = payload["data"] as? String, let pcm = Data(base64Encoded: encoded), !pcm.isEmpty, pcm.count.isMultiple(of: 2) else { return } onAudio(pcm) }}@MainActorfunc makeCaptureWebView(onAudio: @escaping (Data) -> Void) -> WKWebView { let configuration = WKWebViewConfiguration() configuration.userContentController.add( CaptureBridge(onAudio: onAudio), name: "capture" ) return WKWebView(frame: .zero, configuration: configuration)}Swift · 把转写结果填回输入框
在键盘的 UIInputViewController 子类中拿到最终转写结果后调用一次。流式识别经常返回更新后的整句中间结果,每次都插入会重复。
import UIKitextension UIInputViewController { func insertFinalTranscript(_ text: String) { guard !text.isEmpty else { return } textDocumentProxy.insertText(text) }}Stephan Cilliers 的完整演示仓库https://github.com/stephancill/ios-keyboard-dictation
开源演示里有两个入口。WebAudioCapture.swift 负责 WebView 录音和音频回传,DemoKeyboardViewController.swift 负责转写和把文字填回输入框。
WebAudioCapture.swift
https://github.com/stephancill/ios-keyboard-dictation/blob/main/Sources/KeyboardDictationDemoKeyboard/WebAudioCapture.swift
DemoKeyboardViewController.swift
https://github.com/stephancill/ios-keyboard-dictation/blob/main/Sources/KeyboardDictationDemoKeyboard/DemoKeyboardViewController.swift
演示需要先在主 App 授权麦克风和语音识别,并打开键盘的「允许完全访问」。设置完成后,开始听写时就可以留在原来的 App。密码等安全输入框仍使用系统键盘。
KeyboardKit 表示会在 11.3 里加入这套方案,并标为实验性。WebKit 的采音接口是公开的,但 Apple 的键盘文档没有保证这条路径会在以后继续可用。
参考来源
Raycast iOS 1.5.5 更新日志https://www.raycast.com/changelog/ios
KeyboardKit 技术原文https://keyboardkit.com/blog/2026/11/20/raycast-has-solved-keyboard-dictation-without-main-app-round-trip
豆包输入法 App Store 产品介绍及版本记录https://apps.apple.com/cn/app/id6752316550
Wispr Flow iPhone 键盘设置与返回流程https://docs.wisprflow.ai/articles/7453988911-set-up-the-flow-keyboard-on-iphone
Apple 键盘扩展指南https://developer.apple.com/library/archive/documentation/General/Conceptual/ExtensibilityPG/CustomKeyboard.html
Raycast 听写手册(旧会话流程)https://manual.raycast.com/ai/dictation
WebKit 媒体采集说明https://webkit.org/blog/11353/
Stephan Cilliers 的 iOS 键盘听写演示https://github.com/stephancill/ios-keyboard-dictation
Apple 键盘文本交互文档https://developer.apple.com/documentation/uikit/handling-text-interactions-in-custom-keyboards
Apple 键盘界面和安全输入框说明https://developer.apple.com/documentation/uikit/configuring-a-custom-keyboard-interface
读者群
后台一直有读者问有没有读者群。
很久之前建过,后来有的解散了,有的转交给了别人。想想 AI 时代还是需要的,就又建了。
现在有三个群, 有兴趣可以加一下,随便聊聊。如过期就点公众号菜单交流群















































































