夜雨聆风Hello 大家上午好。
今天4月18号，是第29期正式节目。当前，“云侧+端侧”的混合AI架构已成为行业共识，云端负责复杂的模型训练和更新，端侧负责推理和实时响应，云端协同，给用户提供最佳体验。其实，端侧AI可以解决云端AI在实时性、隐私保护和成本效率方面的局限性，今天我们就来聊聊端侧AI的硬件实现，端侧AI SoC。
全球智能设备AI SoC市场规模由2020年的107亿美元增长至 2024 年的318亿美元，到2029年，预计将进一步增长至1,090亿美元，复合年增长率都在25%以上。
智能设备SoC主要用于智慧家庭、商业及教育、汽车、个人移动设备等应用领域。可以看出，端侧AI SoC核心基本盘还是在智能手机、PC和各种消费类IoT设备，第二增长曲线在汽车电子，智能座舱、自动驾驶，以及舱驾一体等应用。工业泛IoT与具身智能应用将是端侧AI的增量长尾市场和未来。
目前全球有哪些主要的端侧AI SoC厂商及芯片呢？
先说明下，英伟达和国内的寒武纪，主要以云端AI SoC为主，不在这里列出。
高通第五代骁龙8 Elite，3nm工艺的芯片，Qualcomm自研Hexagon NPU, 220 TOPS。苹果A19 Pro SoC，搭载自研16核NPU，至少35 TOPS。联发科的天玑9500，搭载NPU990，100 TOPS。海思旗舰芯片麒麟 9030 Pro 精简了传统制程束缚，NPU采用达芬奇架构，AI 算力达到40 TOPS。在缺少EUV的情况下，利用自对准四重曝光SAQP工艺，打开了高端SoC国产突围新格局。晶晨Amlogic，S905X5 SoC，4 TOPS NPU。瑞芯微的旗舰SoC RK3588，6 TOPS NPU。星宸科技SigmaStar也有推出一颗面向扫地机器人的AI SoC SSU9386，3 TOPS IPU。接下来是两家自动驾驶SoC厂商，地平线的征程6，NPU高达560 TOPS，黑芝麻智能的华山A2000，更是高达1000 TOPS。全志科技的A733、恒玄的BES2800，以及君正的A1系列，都有带AI引擎NPU，几个TOPS。
AI SoC与AI相关的参数有哪些呢？主要有三个：
第一，TOPS，Tera Operations Per Second，即每秒万亿次运算。这是AI算力的单位，数字越大，处理速度越快。这张图是一个简化的估算方法，可以直观理解端侧AI SoC的处理能力。大模型参数个数与TOPS值相除，就是推理速度。
第二，能效比。端侧AI最重要的不是最高算力，而是“在有限电量下跑多快”。比如在手机上，功耗就是生命，能在更低发热下跑出同样的效果，才是好芯片。
第三，量化Quantization支持。芯片能否支持INT8等轻量化算法，决定了能不能跑起大模型。
未来的端侧AI SoC，将不仅仅是协处理器，它会演变成一个“智能决策中枢”，让你的设备真正变成一个“懂你”的助手。
你认为端侧AI的爆发，是在更强大的手机，更智能的穿戴设备，目前火热的具身智能机器人，还是汽车舱驾一体应用呢？欢迎在评论区留下你的看法。
好的，本期的分享就到这里，感谢观看。
下周六会准时上线第30期，再见，^_^
