汽车座舱的AI能力正从基础的语音助手、简单车控,向多模态交互、任务规划、个性化推荐等智能体功能演进

汽车座舱的AI能力正从基础的语音助手、简单车控，向多模态交互、任务规划、个性化推荐等AI智能体功能演进。为实现这一目标，端侧模型从1B到1.5B的语言模型升级为7B左右的多模态模型，以支持车内大部分的交互功能，并确保毫秒级响应时间。而例如旅行建议、本地生活推荐、知识百科等更复杂的任务，则可通过调用云端大模型来实现。

在此趋势下，“小模型快速响应、中等模型做多模态交互、云端大模型处理复杂任务”的多模型结合AI座舱场景成为核心需求。

以上需求中，最大的挑战来自于7B多模态大模型的端侧部署。端侧部署7B多模态模型的性能要求是在512 Token输入长度下，1秒以内输出首个Token，并持续以20 Token/s的速度运行。这就需要座舱处理器需具备30-40 TOPS左右的NPU算力，并匹配90 GB/s左右的DDR带宽。市面上现有的座舱处理器虽在NPU性能满足部分要求，但内存带宽多在60-70 GB/s范围，难以满足7B模型的部署。

芯驰X10产品聚焦AI座舱核心需求，在算力和带宽配置上，着重满足端侧部署7B多模态大模型，提供40 TOPS NPU算力，搭配154 GB/s的超大带宽，确保大模型性能得到充分发挥。

当前，车载AI大模型云端部署场景下，因网络繁忙或者云端服务器负载波动造成的偶发延迟响应问题比较突出。通过大模型的端侧部署，X10可有效解决这一问题，固定模型的响应时间，确保用户体验的一致性，并且能够做到用户数据的隐私保护。

资料来源：芯驰科技