【音视频】iOS 相机采集性能优化

1、 架构级优化：线程模型

AVCaptureSession 的所有操作（startRunning, stopRunning, 修改配置）都是阻塞式的。如果放在主线程，必然导致 UI 卡顿。

• 专用串行队列：创建一个专门的后台串行队列来管理 Session。

self.sessionQueue = dispatch_queue_create("com.camera.session", DISPATCH_QUEUE_SERIAL);dispatch_async(self.sessionQueue, ^{    [self.captureSession startRunning];});

• SampleBuffer 回调队列：针对 AVCaptureVideoDataOutput，必须配置独立的串行高优先级队列。避免与其他 CPU 密集型任务共用队列。

2、 内存与数据流优化 (核心)

相机每秒产生 30-60 帧高分辨率图像，处理不当会迅速触发内存抖动。

• 零拷贝映射： 使用 CVMetalTextureCache 将 CVPixelBuffer 直接映射为 Metal 纹理（参考之前的文档），避免 CPU <-> GPU 之间昂贵的数据拷贝。
• Buffer 丢弃机制： 设置 alwaysDiscardsLateVideoFrames = YES。如果 GPU/AI 处理太慢，宁可跳过当前帧，也不要积压缓冲区导致显示延迟。
• 池化管理： 如果是手动创建 CVPixelBuffer（如 AI 回写），务必使用 CVPixelBufferPool。重复创建/销毁 Buffer 是卡顿的主要元凶。

3、 硬件与格式配置优化

盲目追求高分辨率（如 4K）是导致低端机型或旧款 iPhone 采集卡顿的主因。

• 匹配显示尺寸：如果预览窗口只有 720p 屏幕大小，不要开启 4K 采集。
• **固定帧率 (Fixed FPS)**： 为了避免在光线变化时系统自动调整曝光导致的帧率抖动，应强制锁定最小/最大帧率。

NSError *error;[device lockForConfiguration:&error];device.activeVideoMinFrameDuration = CMTimeMake(1, 30); // 锁定 30fpsdevice.activeVideoMaxFrameDuration = CMTimeMake(1, 30);[device unlockForConfiguration];

• 关闭不必要的算法： 默认开启的 videoStabilizationMode (防抖) 会增加延迟。对于实时 AI 处理类 App，建议使用 AVCaptureVideoStabilizationModeOff 或 lowLatency。

4、 热管理：防止降频 (Thermal Throttling)

相机是手机上功耗最高的组件之一。

• 监控热状态： 监听 ProcessInfo.processInfo.thermalState。当状态达到 .serious 或 .critical 时，主动降低采集分辨率或帧率（如 60fps 降至 30fps）。
• 减少预览层级： 直接使用 AVCaptureVideoPreviewLayer。如果必须用 Metal 自定义渲染，确保 Fragment Shader 逻辑足够精简。

5、 2026 年新特性：AI 增强采集

• 智能降噪适配：iOS 19+ 引入了新的端侧降噪接口。在弱光环境下，开启系统级降噪比在 Shader 中自己实现更节省 GPU 资源。
• App Intents 优化：如果你的相机支持 Siri 调用，确保通过 App Intents 快速冷启动，跳过不必要的 UI 资源加载。

6、 性能检查清单 (Checklist)