光电融合重构视觉计算,打开端侧AI的能效空间

机器人要边移动边观察环境，智能眼镜要及时理解眼前的场景，工业设备要在产线不停运行时发现异常。对这些设备，视觉是一项需要持续运行的基础能力，而电池、散热和安装空间都有限。

持续感知会放大每一帧图像的处理成本。摄像头采集、传感器读出、数据传输、存储和模型运算，都在消耗电量、产生热量。让设备运行更久、响应更快、做得更小，需要提高整条视觉链路的效率。

高通 CEO 安蒙在 2026 年 2 月的署名文章中提出，训练和深度推理会继续在云端扩展，而即时响应、感知和个性化等能力将更多发生在设备侧。[1] 端侧设备因此需要持续获取环境信息，并及时作出响应。

NVIDIA 在今年 CES 展示的物理 AI 路线，也将传感输入、环境理解与动作决策连接起来。[2] AI 走进真实世界，意味着计算要跟上环境变化和设备行动的节奏。

特斯拉在 10 月 21 日发布的季度报告中披露，Cybercab 已于 9 月 3 日在奥斯汀加入 Robotaxi 载客服务。[3] 这类应用把视觉系统带入连续运营场景，对响应时间、稳定性和持续运行成本提出了更高要求。

图 1｜Tesla 于 2026 年 10 月 21 日披露的 Cybercab Austin 发布活动照片。来源：Q3 2026 Update，第 13 页。

这种变化已经体现在电子芯片的设计中。高通 9 月发布的 Hexagon NPU 架构说明强调，通过扩大共享存储减少外部内存访问，并按任务调用不同模型。[4] 对端侧 AI 来说，减少数据搬运和不必要的运算，同样是提高效率的重要途径。

机器执行具体任务时，需要的信息各不相同。工业检测关注缺陷和纹理变化，目标定位关注轮廓与位置。这些信息通常要从大量像素中提取，也为光学前端参与处理提供了切入口。

经过设计的光学结构，可以利用光的传播、衍射与干涉完成空间变换，增强或编码与任务有关的信息。这一步与小模型、量化和专用 NPU 可以配合使用：光学前端改善输入的表达，电子后端完成后续识别与判断。

在曜智光科，我们正围绕这一方向推进视觉模组，将镜头、三维光计算芯片、传感器和电子后端协同设计。[5] 光学结构需要按实际照明、视场和工作距离设计，后端模型则围绕真实器件的输出训练和校准，让前端处理与最终任务相匹配。

图 2｜曜智光科视觉模组架构概念图，展示光学前端与电子后端的分工。来源：rlite.ai。

系统收益要落实到具体环节。如果光学输出能支持更小的后端网络，就能减少相应的电子运算；要进一步减少采样和传输，还需要传感器按任务所需的特征组织读出。先完整读取一幅图像，再在软件里缩小它，节省的主要是后续处理，不能同时计作传感器读出的节省。

黄超然团队今年发表于Nature的实验研究提供了一个例子：同一固定超表面配合小型可训练数字后端，可以完成不同视觉任务，无须为每个任务重新制造光学结构。[6] 这说明，固定前端可以提供一组可复用的视觉能力，任务适配则交给电子后端。

三维光神经网络为这条路线提供了更丰富的结构设计空间。设计者可以在不同层面和位置安排光与材料的相互作用，用空间并行传播处理输入信息。相应的变换保留在材料与几何结构中，运行时持续接收新的输入，减少这部分计算对权重加载和逐单元调控的需求。

对端侧产品而言，三维制造的目标，是把更多有用的光学处理集成进紧凑模组，同时降低装调负担。它的价值最终要落到可靠输出上：在所需的任务精度下，前端能承担多少处理，后端能缩小多少，模组又能做到多紧凑。

因此，结构设计、制造和算法需要一起推进。照明变化、光损耗、噪声、温漂及装配偏差，都应进入设计和实物验证；非线性处理、任务更新与复杂决策，则由相应的电子模块承担。把这些环节配合好，才能把光学并行处理变成设备可用的能力。

工业高速检测是一个明确的优先切入口。照明、工作距离和任务边界较容易限定，产线又会高频重复执行同类判断。可以从特定缺陷检测或定位任务出发，联合设计光学前端与后端模型，用漏检率、误检率、曝光到触发的时间，以及连续运行功耗检验价值。

机器人末端和无人机更在意安装空间、载荷与散热。面向定位、轮廓识别等高频视觉功能，光芯片模组的价值，是在满足任务要求的同时减少后端处理负担，把计算板、散热结构和电池所占的资源降下来。

常开视觉终端则适合分层处理：让低负担的前端持续工作，在发现目标或变化后，再唤醒更复杂的模型。这一路线的关键指标，是整天运行时的平均功耗，以及触发判断的漏检率和误报率。

图 3｜曜智光科公开的视觉任务概念示意。左右展示输入与目标输出的不同表达，并非与传统视觉的性能比较，也不作为产品实测结果。来源：rlite.ai。

评价这些方案，应与针对同一任务优化过的 CMOS、图像处理器和 NPU 方案比较，并保持任务质量与响应要求一致。总能耗要包括补光、传感器读出、数据传输、电子后端和控制；长期稳定性、标定、制造及更换成本，也要计入产品评估。这样才能判断光芯片是否真正改善了整机。

曜智光科关注的，是把这条技术路线做成紧凑、可靠、便于设备集成的端侧视觉模组。围绕具体任务，让光芯片承担可长期复用的处理，让传感器与电子后端接收和使用这些输出，再把收益落实到设备的响应、能耗、体积和使用成本上。

个人运营，观点仅代表本人。图 2、图 3 为方案概念示意，非产品实测结果；文中产品路线为作者分析。资料核查截至 2026 年 10 月 23 日。