面向AI融合的嵌入式系统课程改革探索

作者：毕盛，董敏，冼进，汪秀敏

作者单位：华南理工大学计算机科学与工程学院，广东 广州

DOI：10.12677/etis.2025.26034

随着人工智能、物联网和机器人等技术的迅猛发展，嵌入式系统正经历着从传统控制到智能感知、决策与协同的根本性变革。智能嵌入式系统作为连接数字世界与物理世界的桥梁，不仅继承了嵌入式设备低功耗、小型化、高可靠性的特点，还在有限资源条件下承担起深度学习推理、多模态感知与实时控制等复杂任务。这一趋势对人才培养提出了新的要求——既需要掌握嵌入式系统硬件与软件的基础知识，又要具备人工智能模型设计、优化与部署的能力。 

为应对这一技术融合与产业需求，我校计算机学院面向高年级本科生及研究生开设了《智能嵌入式技术》课程。课程旨在系统构建学生对智能嵌入式系统“从硬件到软件、从算法到应用”的完整知识体系，培养学生具备设计、开发与部署智能嵌入式产品（如智能机器人、边缘AI设备、工业视觉系统等）的综合工程能力。通过理论学习与项目实践相结合的方式，使学生能够在真实场景中运用所学知识，完成从系统选型、模型训练、软硬件协同优化到最终部署的全流程开发。

（1）新工科建设背景下的教育改革驱动

“新工科”建设作为一项持续深化工程教育改革的重大行动计划，其核心在于推动学科交叉融合与创新能力培养，以回应新一轮科技革命与产业变革对工程技术人才提出的全新要求^[1]。在这一宏观背景下，高等教育，特别是与信息技术密切相关的工程学科，面临着重构知识体系、更新教学内容与创新教学模式的紧迫任务。嵌入式系统作为信息技术与物理世界交互的关键载体，其课程教学的改革与升级，是践行新工科理念、培养适应未来智能产业发展需求人才的重要切入点。传统嵌入式系统教学在理论传授与实践能力培养上的脱节，以及在内容上对前沿技术（如人工智能）融合的不足，已成为制约其满足新工科要求的主要瓶颈^[2]。因此，探索并实施面向AI融合的嵌入式系统课程改革，不仅是技术发展的自然结果，更是高等教育主动适应时代变革、提升人才培养质量的战略选择。

（2）技术与产业融合发展的迫切需求

当前，我们正处在一个由人工智能、物联网和机器人技术共同驱动的智能时代。嵌入式系统的内涵与外延正发生深刻演变：它已从功能单一、资源受限的控制单元，演进为集成多模态感知、本地化智能推理、自主决策与实时控制能力的综合性智能终端^[3]。从自动驾驶、工业机器人到智能家居，智能嵌入式系统正以“感知–决策–控制”的闭环模式，深度赋能千行百业。这一产业变革的底层逻辑是人工智能技术与嵌入式系统的深度融合，对既精通传统嵌入式软硬件开发，又掌握AI模型部署优化与系统集成能力的“全栈式”复合型工程师产生了迫切需求^[4]。这种强烈的市场需求，明确要求高校的嵌入式课程必须超越传统硬件与底层编程的范畴，系统性地融入人工智能技术，以培养学生的跨学科综合应用能力^[5]。

（3）现有教学体系与模式面临的挑战与局限

审视当前高校的课程体系，一个突出的问题是传统嵌入式教学与人工智能教学之间存在明显的“知识断层”。传统课程往往侧重于微控制器架构、接口编程与RTOS，教学实践或偏重理论，或局限于基础硬件设计，与前沿智能应用场景结合不紧密^[5][6]。而人工智能课程则多聚焦于算法理论与云端训练，极少涉及在资源受限的嵌入式环境中进行算法部署与优化的实践^[2]。这种割裂导致学生能力结构失衡：嵌入式方向的学生难以驾驭复杂AI模型的落地，而AI方向的学生则缺乏对算法物理约束（功耗、实时性）及其与物理世界交互的深刻理解^[7]。现有的教学模式在培养学生解决“软硬协同”复杂工程问题能力方面存在明显不足^[3]。

（4）已有教学改革探索及其深化空间

针对上述挑战，教育界已展开一系列改革探索，主要集中在以下几个方向：一是强化产教融合与项目实践，通过引入企业真实项目或竞赛题目，以“项目导向”和“课赛结合”来提升学生的工程实践能力和创新思维^[4][7]。二是革新教学方法与内容，例如采用基于CDIO工程教育理念的全生命周期教学模式^[7]，或利用MOOC、虚拟仿真（如Proteus）等技术丰富教学手段与资源^[8]。三是尝试跨学科内容整合，部分改革开始将嵌入式系统与机器人（ROS）、物联网等应用领域结合，或在实验中引入AI元素^[9]。这些探索取得了积极成效，如提升了学生的硬件设计能力、工程素养和学习主动性^[4][5]。

然而，现有改革仍存在深化空间。多数尝试尚未系统性地将人工智能作为核心知识模块深度融入嵌入式课程体系。它们往往是在应用层调用AI服务，或仅将AI作为孤立章节介绍，未能贯穿“算法设计–模型优化–硬件部署–系统集成”的全链条能力培养。课程内容在反映异构计算架构（CPU/GPU/NPU）、边缘AI推理框架等前沿技术方面仍显不足。因此，构建一个深度融合AI与嵌入式技术、覆盖从底层硬件到顶层智能应用的全栈知识体系，并设计相应的系统性实践教学方案，是当前教学改革需要突破的关键^[2][3][9]。

（5）本研究课程的定位与创新导向

在此背景下，本研究进行的《智能嵌入式技术》课程改革，旨在直接回应新工科建设要求与产业融合趋势，针对现有教学体系的不足进行系统性革新。本课程定位并非对传统内容的简单修补，而是致力于构建一座连接“嵌入式硬件工程”与“人工智能算法”的桥梁^[2]。其核心创新导向在于：第一，系统性知识融合：打破学科壁垒，以“智能嵌入式系统”为核心，全栈式整合异构计算、边缘AI部署、机器人系统等前沿内容^[5][7]。第二，前沿实践导向：强调“硬件感知”的算法优化与系统级设计思维，培养学生解决在资源约束下实现智能功能的复杂工程问题的能力^[7]。第三，深度项目驱动：设计贯穿“感知–决策–控制”闭环的综合性项目（如智能机器人），使学生经历从需求分析到系统集成的完整工程实践^[7]。本研究即是对这一改革理念、课程体系构建与教学实施路径的系统性探索与实践总结。

构建一个逻辑清晰、覆盖全面且紧跟技术前沿的知识体系，是《智能嵌入式技术》课程成功实施的基础。本课程知识体系并非嵌入式技术与人工智能技术的简单叠加，而是以“系统思维”为主线，以“实现一个智能嵌入式产品”为最终目标，进行深度融合与结构化重构。课程内容被整合为五个循序渐进的层次：系统认知与概述、硬件平台与基础、软件栈与开发环境、智能算法与部署优化、典型应用与系统集成。该体系引导学生从宏观认识到微观实现，从理论奠基到工程实践，逐步构建完整的智能嵌入式技术知识图谱。 

课程知识体系呈现为金字塔结构，底部为基础原理支撑，顶部为综合应用与创新，中间层为承上启下的核心技术。 

第一层：系统认知与概述

本部分旨在建立学生对智能嵌入式系统的全局视野。首先阐释其定义、四大核心能力（实时感知、数据处理、自主决策、协同控制）及其相较于传统嵌入式系统与纯云端智能的显著优势（低延迟、高可靠、隐私安全、带宽高效）。通过剖析在自动驾驶、工业机器人、智能终端等领域的典型应用，使学生理解技术价值与产业意义。进而，系统解析智能嵌入式系统的五大组成部分：异构化硬件计算平台、层次化软件栈与框架、协同优化的智能算法、高效可靠的系统通信、系统化的开发流程。本部分强调各组件间的协同与依赖关系，奠定学生的系统级思维基础。 

第二层：硬件平台与基础

硬件是智能功能实现的物理基石。本部分深入探讨为突破“内存墙”与“算力墙”而发展的异构计算架构。核心内容包括：作为控制与调度中枢的嵌入式CPU（重点包括ARM Cortex-A 系列的多核与SIMD技术、Cortex-M系列的Helium向量扩展）；作为大规模并行计算引擎的GPU；专为神经网络计算设计的NPU/TPU；擅长高实时性信号处理的DSP；提供高度定制化加速能力的FPGA/SoC。此外，详细讲解支撑计算单元高效运行的存储架构（多级缓存、AI专用紧耦合内存、DDR、eMMC/UFS），以及连接传感器与执行器的关键外部接口（如MIPI CSI/DSI、USB、PCIe、CAN等）。最后，通过对比分析NVIDIA Jetson系列、瑞芯微RK3568/RK3588、华为昇腾系列、ARM Cortex-M85/M55等主流嵌入式AI芯片平台，培养学生根据性能、功耗、成本及生态进行硬件选型的工程能力。

第三层：软件栈与开发环境

软件是连接硬件与智能算法的桥梁，决定了系统开发效率与运行可靠性。本部分覆盖从底层到上层的完整软件生态。在操作系统层面，对比讲解资源受限场景下的实时操作系统（如FreeRTOS等）与功能丰富的嵌入式Linux（包括Bootloader如U-Boot、内核配置与编译、驱动开发、根文件系统构建）。针对现代异构多核芯片，重点介绍混合关键系统部署方案，包括非对称多处理（AMP）与对称多处理（SMP）模式，以及轻量级虚拟化/分区技术（如Jailhouse、Bao Hypervisor）在实现安全隔离与实时保障中的应用。在开发框架层面，深入讲解机器人领域事实标准ROS2（基于DDS的分布式通信机制），以及面向消费级设备的Android和面向万物互联OpenHarmony系统。此外，课程引入现代软件工程实践，如使用Docker进行环境容器化以保障一致性，以及CMake等构建工具进行项目管理。

第四层：智能算法与部署优化

本部分是课程“智能”属性的核心体现。首先回顾深度学习基础，包括卷积神经网络、Transformer及强化学习网络，但重点迅速转向嵌入式场景下的独特挑战与解决方案，即“模型轻量化与优化”。系统讲授后训练量化与量化感知训练，将模型参数从FP32降至INT8/INT4，大幅减少存储与计算开销；讲解网络剪枝技术，移除冗余神经元或连接，得到稀疏高效的结构；介绍知识蒸馏方法，利用大模型（教师网络）指导小模型（学生网络）训练，在减小规模的同时保持性能。同时，涵盖ONNX作为中间表示格式在跨框架模型转换与图优化中的作用。在部署层面，详细剖析主流推理框架的工作流程，如NVIDIA Ten sorRT的层融合与精度校准、TensorFlow Lite的算子转换与委托机制，以及华为CANN、瑞芯微RKNN等硬件厂商专用工具链的使用。本部分强调“硬件感知”的算法设计，培养学生针对特定加速单元（如NPU指令集）进行模型调优的能力。

第五层：典型应用与系统集成

本层旨在将前四层知识融会贯通，通过典型应用案例完成系统级整合。课程选取计算机视觉和自然语言处理两大最具代表性的AI应用方向。在视觉方面，从OpenCV基础处理讲起，重点结合YOLO系列等目标检测模型，讲解从视频采集、图像预处理、模型推理到结果后处理的完整流水线，并涉及视频编解码与传输技术。在语音与语言方面，涵盖音频信号采集、前端处理（降噪、增强），以及语音识别、语音合成和轻量化大语言模型（如ChatGLM、Llama等）在边缘设备的部署策略与案例。最终，所有技术汇聚于“具身智能机器人开发”这一综合性应用。学生将学习机器人本体的软硬件分层架构（底层MCU控制与上层MPU智能），掌握激光与视觉SLAM 进行地图构建与定位的原理与部署，并实践基于深度学习或深度强化学习的自主导航与动态避障算法。通过该完整案例，学生亲身体验从传感器数据采集、多模态融合、智能决策生成到物理执行器控制的“感知–决策–控制”闭环实现，形成对复杂智能嵌入式系统从设计到实现的完整认知。

该知识体系以系统化、层次化、应用导向为核心特征，既覆盖了智能嵌入式领域的基础理论与关键技术，又突出了跨硬件、软件、算法与通信的协同设计思维。通过理论讲解、案例分析与实践项目相结合的教学方式，旨在培养学生解决复杂工程问题的综合能力，为其在人工智能与嵌入式融合的快速演进中奠定坚实的学术基础与工程素养。 

为确保知识体系的有效传递与学生工程能力的实质性提升，《智能嵌入式技术》课程实施了“三维驱动、学做赛一体”的教学方案。该方案将系统化理论授课、贯穿学期的项目式实践与以赛促学的创新拓展深度融合，形成环环相扣、相互强化的教学闭环，旨在培养学生从原理认知、技术实现到系统创新的全链条能力。

理论授课是构建知识体系的基石。课程采用“模块化精讲+案例深度剖析+专题互动研讨”三位一体的教学模式，严格遵循五层知识体系展开。 

模块化精讲：每个核心知识模块均采用“原理–技术–工具–实践”四步法讲解。例如，在“硬件平台与基础”模块，不仅阐释CPU/GPU/NPU/DSP/FPGA 的异构架构原理，更结合智能嵌入式系统实践中的Nvidia Jetson Orin与RK3588等开发平台，并现场演示使用tegrastats、rknn-toolkit 等工具监控算力利用率，使抽象架构具象化。在“智能算法与部署优化”模块，则以一个具体的轻量化模型（如MobileNetV2）为例，完整演示从PyTorch训练、ONNX导出、到使用TensorRT 进行INT8量化与层融合优化，最终在嵌入式平台实测延迟与功耗的全链路流程，让学生直观量化优化技术的收益。

案例深度剖析：为每一关键技术层配备源自产业与前沿的实战案例。在讲解软件栈（ROS2）时，深度剖析一个自动驾驶仿真案例，解读其感知、定位、规划节点如何通过DDS主题与服务进行低延迟、高可靠通信。在讲解模型轻量化时，则剖析一个视觉目标识别的项目，展示如何通过通道剪枝与量化感知训练，将模型压缩后部署至各种加速模块，实现实时的目标检测。这些案例直接来源于教材的实践章节与行业最新应用，确保了教学内容的时效性与工程相关性。

专题互动研讨：设置开放性、决策性专题，驱动高阶思维。例如，提出“为满足10 W功耗约束下的仓储机器人，如何选型SoC（对比Nvidia Jetson Nano与RK3588）并设计其SLAM与避障软件架构？”或“在边缘设备部署微调后的Llama 2-7B模型，有哪些可行的量化、裁剪与编译优化策略来保证响应速度？”学生需基于课程所学，进行资料调研、技术选型论证与方案设计，并在课堂进行分组辩论与陈述。教师角色从讲授者转变为引导者与评判者，有效培养了学生的系统权衡能力与技术创新思维。 

课程作品实践是知识融合与能力转化的核心环节。学生以3~4人小组形式，在一个学期内完成一个覆盖“感知–决策–控制”闭环的智能嵌入式系统项目，其进程与知识讲授同步，严格遵循产品开发流程。 

项目选题与设计（对应知识层：系统认知&硬件/软件选型）：项目方向限定于典型应用领域（如自主移动机器人、智能视觉交互终端、边缘AI网关），但具体功能需学生自主创新定义。首月需完成《项目立项报告》，内容必须包含详细的需求分析、基于性能/功耗/成本的硬件平台对比选型（如对比使用Cortex-M55微控制器还是Cortex-A55 SoC）、软件框架论证（如选用ROS2还是OpenHarmony），并提交详细的物料清单与开发计划。此阶段强制学生运用第一、二层知识进行系统性设计思考。

模块开发与集成（对应知识层：软件栈、算法部署）：项目中期，学生并行开展各模块开发。例如，在一个“基于多模态感知的跟随机器人”项目中，学生需：在嵌入式Linux上开发摄像头与激光雷达驱动；利用OpenCV进行传感器数据预处理；训练并部署一个轻量化的模型（运用量化、剪枝技术）进行人体检测与跟踪；在ROS2中集成导航栈，实现基于动态窗口法的局部路径规划；最后，将所有模块通过ROS节点进行集成，实现稳定跟随。此阶段深度锤炼第三、四层知识的编码与调试能力。

系统联调与优化（对应知识层：系统集成与优化）：后期工作聚焦于系统整体性能提升与稳定性打磨。学生需进行严格的测试：测量端到端延迟、优化内存占用、提升算法精度与鲁棒性，并可能进行硬件的二次调整（如增加散热、优化供电）。最终需提交完整的项目实物、源代码、技术报告及演示视频，并进行期末答辩。通过此全过程，学生将五层知识体系融会贯通，完整经历了产品从0到1的工程化实现，培养了至关重要的系统集成与问题解决能力。

学科竞赛是检验学习成果、激发创新潜能、对接产业前沿的最高效平台。课程积极构建“课程作品–竞赛项目–创新成果”的转化通道，组织并指导学生参与一系列高水准专业赛事。 

竞赛对接与选拔：课程重点瞄准与智能嵌入式技术紧密相关的权威竞赛：包括中国国际大学生创新大赛、“挑战杯”全国大学生课外学术科技作品竞赛、计算机系统能力大赛、嵌入式芯片与系统设计竞赛等；由核心企业主导的华为昇腾AI创新大赛、NVIDIA Jetson开发者挑战赛等；以及聚焦机器人技术的机器人竞赛等。这些赛事的赛题往往直接针对边缘计算、机器人、物联网等前沿应用，与课程内容高度契合。

备赛支持与成果转化：教学团队为参赛队伍提供全方位赋能：包括赛题技术路线解读、开放实验室与硬件平台支持、过往获奖作品的经验复盘会，以及模拟路演与答辩训练。许多优秀的课程作品在经过竞赛的深度打磨后，性能与创新性得到极大提升，进而转化为发明专利、学术论文或创业项目的雏形。例如，一项课程中的“巡检机器人”作品，经过优化后参加了“挑战杯”竞赛，其创新的轻量化视觉识别模型与低功耗导航方案获得了评委的高度认可。这种“以赛促学、以赛促创”的模式，不仅让学生在极限压力下巩固了技术，更锻炼了其团队协作、项目管理和创新策划等综合素质，显著提升了课程的高阶性与挑战度。 

本课程建设是对人工智能与嵌入式系统融合趋势的积极回应，旨在培养精通“算法–硬件–软件”协同设计与系统集成的复合型人才。课程构建了覆盖系统认知、硬件基础、软件栈、算法部署、应用集成五层的全栈知识体系，弥合了传统专业分野。

教学实施采用“理论–实践–竞赛”三维驱动模式：通过模块化精讲与案例剖析夯实理论基础；以贯穿学期的综合性项目驱动学生完成从设计到实现的完整工程训练；鼓励参与高水平学科竞赛，淬炼创新与解决极限问题的能力。该模式成效显著，学生作品在多项权威赛事中屡获佳绩，毕业生在智能硬件、机器人等领域展现出强大竞争力。

面对技术快速演进，课程将持续迭代：及时纳入类脑计算、存算一体等前沿内容；深化与行业领军企业的产教融合，共建实验室并引入产业级开发流程；延伸培养链条，推动优秀成果向毕业设计、科研及创业项目转化。 

本课程建设的目的不仅为学生提供了清晰的学习路径，也为深度交叉融合的课程建设提供了可推广的范式，致力于为国家关键科技领域培养优秀后备力量。

1）结合人工智能内容的嵌入式系统课程教学改革与实践，2025年度广东省高等教育教学研究和改革项目（2025-474）；

2）智能嵌入式技术，2025年华南理工大学专创融合型深度学习课堂项目（x2jsC9260390）。