夜雨聆风上一课我们讨论了边缘AI的核心价值：实时响应、隐私保护和离线运行。那么，一个完整的边缘AI全景地图到底由哪些部分构成？它们之间如何协作？
如果将边缘AI比作一座智能城市，硬件层是基础设施，算法层是调度策略，部署层是不同区域，应用层是各类公共服务。四层之外还有两个贯穿始终的关键点：软件层（城市管理系统，将算法翻译为硬件可执行的指令）和通信协议层（城市通讯网络，让各部件协同工作）。在本文，让我们一起快速走遍这张“边缘AI地图”，了解每层的核心构成和最新动态，看清边缘AI全貌。
边缘AI的第一个核心问题是：“数据和算力从哪来？存在哪？设备之间如何连接？”。所以我们需要从硬件层的传感、计算、存储、通信四个维度寻找答案。
1.1 计算芯片：
首先说计算芯片，这是我们最熟悉也是市场最火热的板块之一，承担AI模型的训练和推理任务，是边缘AI的算力核心。当前计算芯片呈现多元架构并存的格局：
→CPU：通用芯片，边缘设备中最基础的处理器，擅长逻辑控制和串行任务处理。在边缘AI场景中，CPU通常承担运行操作系统、管理整体系统调度和部分AI推理任务。传统上CPU因算力限制多用于轻量级模型，但近年来随着量化压缩技术的成熟，ARM CPU也能高效运行数十亿参数模型。
→GPU：并行计算的王者，拥有数千个计算核心，擅长处理高度并行的矩阵运算，是深度学习推理的重要平台。
→ASIC：专用芯片，针对特定AI算法和模型架构做硬件级定制。ASIC优势是极致能效，但劣势也很明显：硬件逻辑固定难以适配新算法，研发成本高。
→FPGA：现场可编程门阵列，出厂后仍可重新配置硬件逻辑，兼顾计算效率与灵活性，在边缘AI中扮演独特的“灵活可重构”角色，但开发门槛高，在AI软件生态上不如GPU成熟。
1.2 传感芯片：
传感器是边缘AI在绝大多数场景下最主要的物理数据入口，按检测物理量可分为光学传感、声学传感、力学传感、热学传感、化学传感等等。传统传感器只负责感知与信号转换，而新一代智能传感器将感知、信号处理和轻量级AI计算融合，在芯片内部直接完成数据校准、异常检测和特征提取等初步处理，明显减少数据传输开销和延迟。
1.3 存储芯片：
按数据保持性划分，存储芯片可分为RAM（如我们熟悉的DRAM、SRAM等）和ROM（如闪存flash）。边缘AI大模型本地推理时代，模型参数需要频繁从存储搬运到计算单元，过程中消耗的能量和时间往往超过计算本身，搬运比计算还贵。因此存储不再是数据仓库，而是决定推理效率的关键瓶颈。
1.4 通信芯片：
通信芯片解决芯片间、板卡间以及设备间如何高效交换数据的问题，负责电信号/光信号的发送与接收。没有高效可靠的通信芯片，边缘AI设备就如同信息孤岛，无法协同工作。5G基带芯片与TSN芯片是当前最值得关注的设备间通信方向，此外还包括蓝牙SoC、Wi-Fi芯片等短距离无线通信芯片，以及PCIe、NVLink等设备内高速互联接口，共同构成边缘AI系统的完整通信底座。
1）CPU运行大模型成为可能：微软BitNet等1-bit大模型技术的出现，使传统ARM CPU也能高效运行数十亿参数的大模型。经BitNet优化后，模型在ARM CPU上可实现1.37-5.07倍速度提升和55%-70%能耗降低（数据来源：Hugging Face官方技术博客）。这改变了“CPU只适合轻量推理”的传统认知。
2）异构计算成为主流技术方向：Acrab发布的边缘AI终端SoC GΞLIX 1采用异构计算架构，集成20核Arm CPU、3TFLOPS GPU、独立NPU及音视频处理引擎，AI总算力达650 TOPS，支持100B（1000亿）参数规模大模型本地运行。
3）存算一体芯片突破“存储墙”：将计算单元集成到存储阵列内部，从根本上消除数据搬运能耗。中科院微电子所在RRAM（阻变存储器）存算一体芯片研究中展示了高能效、高并行近阈值技术，相关成果发表在《Nature Communications》期刊。后摩智能M50芯片基于存算一体架构，在仅10W功耗下实现160 TOPS算力，可流畅运行30B至120B参数量级大模型。
4）感存算一体化代表最高集成形态：中国科学院微电子研究所联合清华大学，提出了一款面向视觉大模型加速的“感存算一体化”单片三维集成原型芯片架构，在单芯片内垂直异质集成多光谱碳纳米管传感单元、3D混合增益存算单元与混合CFET结构SRAM数字存算单元，并与DETR视觉大模型的注意力计算范式深度对齐。相关研究成果入选VLSI 2026并获得最佳学生论文提名奖。这代表了传感器芯片的最高集成形态——感知、存储、计算在单一芯片内深度融合。
5）FPGA+AI加速器的异构融合方案：2026年7月AMD ECS大会上，瑞苏盈科（Enclustra）展示基于FPGA+AI加速的智慧城市边缘计算方案。其系统基于Enclustra Pluto XZU20平台，集成Hailo AI加速能力，实现多模型并行边缘推理，支持CNN人脸识别、Transformer零样本场景分类等多模型AI推理流水线。这代表FPGA正向“AI加速器协处理平台”演进——FPGA负责高速数据采集与接口控制，AI加速芯片负责神经网络推理。
2. 算法层：让AI瘦身后上设备
算法层解决的核心问题是：模型如何在资源受限的设备上高效运行？根据算力处理能力的不同，边缘AI算法层形成从超轻量级本地推理到分布式协同训练的完整谱系。
2.1 四大算法
TinyML：边缘AI算法层中资源约束最严苛的一极，核心目标是在KB级内存、μW-mW级功耗的微控制器上运行机器学习模型。TensorFlow Lite Micro是代表性的推理框架，可将TensorFlow模型部署到ARM Cortex-M等MCU平台上。
TinyDL：嵌入式深度学习，与TinyML同属轻量化机器学习范式，但面向具备更强算力的嵌入式SoC（如英伟达Jetson Nano），可运行图像分类、目标检测等更复杂的深度学习任务。
TinyRL：边缘端强化学习，是更前沿的方向。TinyRL将强化学习算法直接部署在边缘设备上，使设备能够通过与环境交互自主学习和优化控制策略。
联邦学习：分布式协同智能，是一种突破单设备限制的分布式训练范式：各边缘设备在本地完成模型训练，仅上传模型更新参数进行全局聚合，原始数据不出设备。
2.2 模型压缩技术
上述算法的落地，依赖一套通用的模型压缩技术体系，学术研究和产业实践已形成成熟的模型压缩技术体系：
→量化：将模型权重从32位浮点数降到8位整数，甚至将到4位、2位等超低位宽，大幅减小模型体积。
→剪枝：移除冗余的神经元连接，减少计算量。
→知识蒸馏：用大模型教小模型，让轻量模型保持较高精度。
→模型分割：将模型拆分至多设备并行处理，缓解单设备算力瓶颈。
1）Transformer边缘适配：在MLPerf Tiny v1.4基准测试（2026年7月，MLCommons）中，某研究团队提交的癫痫检测Transformer模型经量化压缩后，内存占用从194.6KB降至30.6KB，推理时间从12.8ms降至3.7ms，展示了Transformer架构在极端资源受限设备上的部署可行性。
2）从静态压缩到协作推理：前沿思路已超越“模型做小”的范畴，EdgeShard框架提出协作边缘计算理念，将大语言模型按层分片部署在多个边缘设备上协同推理。实验表明，在异构边缘设备上可实现50%的延迟降低和2倍的吞吐量提升，且支持全精度模型推理而无精度损失。该成果发表于IEEE，代表边缘大模型部署从“单设备瘦身”向“多设备协同”的范式扩展。
3）Tiny Language Models兴起：压缩技术从感知模型扩展到生成式模型，以TinyLlama（1.1B参数）为代表，经4位量化后可在树莓派等设备上本地运行，整体系统功耗仅几瓦。近期发布的Qwen3-4B（40亿参数）等稍大体量的模型，则更适合在配备NPU或AI加速模组的边缘设备上部署，能效比进一步提升。
4）端侧Agent的“甜点尺寸”：2026年WAIC大会上光羽芯辰发布端侧AI芯片TC1000系列，该芯片核心设计目标正是在端侧高效运行35B参数规模的大模型，以实现流畅的端侧Agent能力。这一产品定位从产业实践角度表明：35B参数是目前端侧Agent兼顾能力与硬件承载力的重要平衡点——参数量更小的模型在复杂任务中的Agent能力不足，而更大的模型则超出了当前端侧设备的功耗与内存承受范围。
说明：1.本文参考公开报道，并借助AI工具进行整理和分析，如有不妥之处欢迎指正。2.部分市场数据基于行业估算、发布以及官方报道，具体精确数据请以权威机构为准。3.欢迎长期追踪边缘AI的朋友一起探讨。