ARTICLE · 1268581
生成式人工智能走向端侧:软件、硬件与系统的协同演进之路
近年来，在大模型能力持续增强与终端硬件不断演进的双重驱动下，生成式人工智能（GenAI）向手机、个人电脑、物联网终端等边缘和终端设备部署的进程明显加快。端侧部署可显著降低时延、增强数据隐私保护，但设备算力、内存与能耗的严格约束也对生成式模型的落地提出了严峻挑战。2026年8月，来自约翰斯霍普金斯大学、杜克大学的研究团队在《ACM Computing Surveys》发表综述论文《端侧生成式人工智能：架构、硬件与应用的全面综述》（Generative AI at the Edge: A Comprehensive Survey of Architectures, Hardware and Applications），从软件优化、硬件创新与系统级框架三个层面系统梳理了在资源受限设备上部署生成式模型的技术路径，并将硬件优化归纳为计算、内存、调度三个层级八个细分方向。本文对论文主要内容进行梳理与提炼，供读者参考。
当前生成式人工智能应用主要依赖云端部署，但云端推理存在固有局限：请求需经广域网传输，端到端时延受网络波动影响，在高峰时段或拥塞链路下服务质量难以稳定；提示词与上下文数据上传云端，在医疗、金融等隐私敏感行业面临数据驻留与合规风险；长上下文与多模态输入（如视频理解）推高带宽成本，多用户并发服务进一步放大传输压力；在乡村、灾区等弱网环境中，云端服务的可用性无法保障。这些局限共同推动生成式模型向边缘与终端设备迁移，端侧部署由此成为产业界与学术界竞相投入的方向。
然而，边缘设备的资源条件对模型部署构成多重约束。论文将边缘计算环境与云端、超低功耗设备进行了对比刻画：边缘设备的算力介于数据中心与微控制器之间，内存为GB量级，功耗预算通常在数瓦至数十瓦，需在实时性与资源占用之间取得平衡。除计算能力与能耗预算的限制外，论文特别强调了“内存墙”问题：在边缘设备上，数据在内存与计算单元之间搬运的成本已超过计算本身，成为制约推理效率的首要瓶颈。这一定性判断对软硬件优化路径的选择具有直接指导意义——单纯削减计算量并不必然带来实际的时延与能耗收益，需同步优化数据的搬运模式与访存局部性。
论文将生成式模型端侧部署的使能技术归纳为软件优化、硬件创新与系统级框架三个层面，三者相互支撑、协同演进，共同构成边缘生成式智能的完整技术版图。
（图片来源：原论文）
表1 生成式人工智能端侧部署的三层技术框架
在软件层面，模型压缩沿三条主线演进。量化技术分为训练后量化（PTQ）与量化感知训练（QAT）两条路线：前者直接将训练完成的模型参数转换为低精度格式，计算成本低、应用最广；后者在训练过程中引入量化效应，可在低精度下更好保持模型质量。剪枝技术从早期基于权重大小的朴素剪枝，发展到面向硬件的结构化剪枝与半结构化稀疏模式，可在保持模型架构完整性的前提下实现数倍压缩。知识蒸馏则发展出渐进蒸馏、多教师蒸馏与任务定制蒸馏等框架，将大模型能力迁移至小规模学生模型。
神经架构搜索（NAS）通过在时延、内存、功耗的严格预算内自动探索最优网络结构，为端侧场景定制专用架构，代表性工作实现了超过2倍的推理吞吐提升。近期研究还探索了以大模型自身驱动架构搜索的新范式，进一步降低搜索成本。
开源生态是软件层面的另一重要力量。围绕边缘约束，开源社区发展出一批紧凑模型家族，通过蒸馏、参数共享、因式分解等技术将大模型能力浓缩至数亿参数量级；架构创新（如低复杂度注意力机制）也显著改善了长序列场景的资源占用。论文指出，开源协作模式加速了端侧模型的迭代，为产业界提供了可低成本获取的技术底座。
论文的重点贡献在于对硬件优化的系统化梳理。作者将近期硬件研究归纳为计算、内存、调度三个层级及八个细分方向，并指出其中大量工作属于软硬件协同设计——算法侧通过剪枝与量化增强数据稀疏性、缩减模型规模，硬件侧则设计专用架构以跳过稀疏或冗余计算、提升数据复用、最小化数据搬运，两侧对齐才能在边缘功耗预算内实现高效推理。
在计算层面，针对大模型张量与通道级数值分布差异，多项研究采用定制数据类型与自适应选择机制，为不同张量匹配最合适的表示格式，并配套专用解码器与乘加计算单元优化算术过程。面向推理的冗余计算削减策略通过基于信息熵的计算跳过与动态数据通路重构，在极小精度损失下实现高能效。针对线性投影带来的内存与时延开销，稀疏感知的系统级优化实现了约3倍推理加速。
面向注意力机制的硬件加速是当前最活跃的方向之一。多项研究利用存内计算（CIM）架构加速注意力运算——这一选择正是针对“内存墙”约束的直接回应：存内计算将计算单元嵌入存储阵列，从根本上减少权重数据的搬运。此类设计通常与CPU/GPU构成异构系统，由专用加速单元处理注意力算子、通用处理器承担其余运算。针对推测解码等新型推理范式，亦出现了相应的异构资源调度方案。
针对扩散模型的硬件优化则另辟蹊径：扩散模型通过多轮迭代去噪生成图像，相邻迭代间输出高度相似，硬件设计利用这一特性，通过差分计算与冗余跳过大幅削减无效运算，代表性工作在近似非线性函数的差分计算、语义分段稀疏卷积等方向取得显著能效提升。
在注意力优化方面，硬件层面通过分块计算、核融合与片上重计算减少高带宽内存与片上缓存间的数据搬运，三代闪速注意力技术持续优化并行度、工作分配与低精度计算支持；算法层面通过稀疏注意力将自注意力的二次复杂度降至线性或近似线性，涵盖滑动窗口、随机注意力、线性分解与随机特征映射等多种稀疏化范式。
在内存与能效层面，论文收录的代表性加速器覆盖从7nm到28nm工艺、从仿真验证到流片实现的不同成熟度，实测能效达到每瓦数至数十TOPS（万亿次运算）量级，验证了专用架构在边缘功耗预算内支撑生成式模型推理的可行性。
系统级框架衔接压缩后的模型与底层硬件，是端侧部署“最后一公里”的关键环节。编译类方案通过图级算子融合与量化协同实现低时延部署，已成为产业部署的标准配置。面向大语言模型的推理引擎针对注意力计算优化专用内核，支持动态批处理与量化执行；面向混合专家（MoE）模型的引擎通过专家级比特宽度适配，使大参数量模型可在边缘设备运行；基于语义的稀疏激活方法通过识别并维持稳定的神经元激活模式，实现超过十倍的推理加速。移动端基准测试工具则从能耗、内存占用等维度为端侧部署提供系统化评估能力，填补了传统基准忽视设备级指标的空白。
论文强调，软件压缩与硬件加速的单一优化存在天花板：压缩后模型能否高效运行，取决于其结构与目标硬件的匹配程度；硬件架构能否发挥作用，取决于模型负载是否适配其设计假设。跨层级协同设计是突破“压缩-性能”权衡的关键路径，这也是论文以三条主线组织全部内容的深层逻辑。
论文在结论部分指出，端侧生成式智能仍面临若干开放挑战：模型个性化要求在有限资源内支持用户级定制，训练与微调的开销仍是主要障碍；分布式边缘节点上的安全与可信执行环境尚不成熟，模型资产保护与跨节点协同安全有待加强；此外，评测标准的碎片化也制约着技术方案的横向比较。
从产业视角看，这项综述为端侧智能的芯片与系统设计提供了清晰的技术坐标。其一，内存带宽而非峰值算力是端侧推理的首要约束，芯片设计应以数据搬运效率为核心优化目标，存内计算等新型架构的价值正在于此。其二，软硬件协同设计是当前产业主线，模型压缩策略需与硬件的稀疏性支持、低精度计算能力对齐，脱离硬件谈压缩容易陷入“名义收益”陷阱。其三，面向生成式负载的新型加速结构正处于产业化前期，为后摩尔时代的端侧算力供给提供了差异化路径。对于端侧大模型的规模化落地而言，建立覆盖时延、能耗、内存占用的统一实测评估体系，并推动模型、框架、芯片三层协同优化，是当前产业协作的关键方向。
参考来源
论文名称：Generative AI at the Edge: A Comprehensive Survey of Architectures, Hardware and Applications
期刊名称：ACM Computing Surveys（2026年8月，第58卷第15期）
作者机构：约翰斯霍普金斯大学、杜克大学
原文链接：https://dl.acm.org/doi/10.1145/3829079
◆ ◆ ◆
工作组聚焦终端设备智能化升级改造需求，以“基础硬件—基础软件—端侧模型—Agent应用—安全治理”为主线，围绕端侧芯片、AIOS/AgentOS、端侧模型、端侧Agent应用等重点方向，系统开展五方面工作：一是标准体系建设，组织制定端侧智能相关标准，完善端侧智能标准体系建设；二是核心技术攻关，联合产学研各方开展端侧智能关键共性技术研究；三是产业态势研究，持续跟踪端侧智能产业链发展态势与关键环节进展；四是场景应用探索，推动典型场景落地与应用创新；五是测试平台共建与测试验证，完善多类型终端、多层次能力、多场景应用的系统化评测体系，打造开放协同、客观可信的端侧智能产业级评测基础设施。现面向全产业链持续招募成员单位，诚邀终端设备、芯片、算法、软件、科研院所、投资机构等各类主体加入工作组，共享产业资源、共研技术方向、共建标准体系、共筑行业生态，携手推动我国端侧智能产业高质量发展。
AIIA端侧智能工作组联系人：
刘老师 15810897170
庞老师 17600515012
往期精彩
