机器视觉的九双眼睛:谁在帮物理AI真正“看见”世界

你看到的是机器人拿起一只水杯。

它看到的，是一组同时流动的数据：杯子在哪、离手多远、表面有没有水渍、握把朝哪边、手指压上去会不会滑。

这不是算法突然变聪明了。是机器的“眼睛”变了。

过去十几年，机器视觉的主线是“看得清”——分辨率更高、帧率更快、对焦更准。2026年之后，主线正在改成“感知得到”：不只记录画面，还要直接理解距离、材质、运动、接触和物理后果。

下面这九条路线，就是今天物理AI正在长出来的九双眼睛。

一、CMOS：一切的基础，但不再只是“拍照”

CMOS 图像传感器是整个行业的底盘。手机、工业相机、车载摄像头、机器人眼睛，绝大多数都从它开始。

2025年全球CMOS图像传感器市场约245.8亿美元，预计2026年达到263.7亿美元。数字背后，技术本身在悄悄换赛道：从“像素堆叠”走向“场景适配”。

比如工业场景里，全局快门是关键。卷帘快门一行行曝光，拍高速运动的零件会变形；全局快门让所有像素同一瞬间曝光，抓得住飞过来的工件。

思特威 SC136HGS 把背照式像素、近红外增强和全局快门放在一起，520nm可见光量子效率做到91%，近红外波段也比同规格产品明显更高。这类传感器已经跑在AGV、工业检测、机器视觉相机里。

CMOS解决的，是“先把世界拍准”这件事。它不性感，但离不开。

二、SPAD：让机器“摸”到距离

普通相机给你颜色，SPAD给你深度。

SPAD（单光子雪崩二极管）能探测单个光子，配合dToF（直接飞行时间）测距，算出每个点离自己多远。它构成了今天固态激光雷达的感知核心。

2026年速腾聚创“创世”架构是个标志：28nm车规工艺，核心面积缩40%，功耗降30%，光子探测效率做到45%。凤凰芯片原生2160线、超400万像素点云、最远600米；孔雀芯片640×480面阵，视场角180°×135°，最近探测距离小于5厘米。

这对机器人尤其关键。过去导航用低线数雷达，操作再另接深度相机，两套坐标系、两套时延。VGA级SPAD面阵出现后，定位和抓取可以走同一路数据。

SPAD解决的，是把“平面画面”变成“三维世界”。

三、事件相机：只盯着“正在发生什么”

传统相机不管画面变没变，都按帧往外吐数据。事件相机不这样——每个像素只看亮度变化，没变化就沉默，一变就立刻报“这里动了”。

Prophesee GENX320：320×320分辨率，动态范围超140dB，功耗低于50mW，延迟不到150微秒，0.05勒克斯微光下还能工作。

优势很直接：

• 数据量可能只有传统相机的千分之一级别
• 微秒级响应，拍高速运动不糊
• 明暗反差再大也不溢出

缺点也明显：没有绝对亮度、没有颜色、静止场景几乎不输出。所以它不是替代CMOS，而是和CMOS搭档——一个看状态，一个看变化。

事件相机解决的，是“时间”这件事。

四、高光谱：不止看清形状，还能认出“这是什么材料”

人眼看到的是红绿蓝三个通道。高光谱相机看到的是几十甚至上百个波段——每个物体因此留下一条独特的光谱“指纹”。

判断水果内部糖度、识别药品真假、检测农产品磕伤、分辨塑料种类，靠RGB是做不到的，靠光谱可以。

过去高光谱设备笨重、扫一幅图要几十秒，只能放实验室。2026年出现两个关键突破：

• 学术上，Nature Communications 发表片上偏振-高光谱传感器，2048×2448分辨率下同时采61个光谱通道和4种偏振态，74fps视频级输出；
• 工程上，北理工张军团队在《Science》发表成果，做出一体化实时高光谱微系统 HyperVision，把“光谱计算”直接搬进芯片，不再依赖后端服务器。

这意味着高光谱开始从“实验室仪器”变成“端侧传感器”。

高光谱解决的，是“材质”和“成分”的识别。

五、量子成像：把“鬼成像”拉出实验室

量子成像里最被看好的方向叫“鬼成像”——两束光互不独立，通过光子涨落关联，把本来拍不到的图像重建出来。

听起来玄，落地逻辑其实很实在：在强光眩光、暗夜、雨雾、烟尘、浑浊水体里，传统光学容易失效，量子关联成像有可能用更少光、更强抗干扰把目标捞出来。

深圳亿维瑞光在做量子关联成像传感器，目标成本压到数百元级别；北京坤煜量子2026年发布“煜见”一号，基于瞬时量子关联成像，靠FPGA做实时视频级成像，已经在复杂环境探测上做验证。

量子成像解决的，是“极端环境里还能不能看见”。

六、神经形态视觉：别再一帧帧算，改用“脉冲”

事件相机是眼睛，SNN（脉冲神经网络）是大脑处理方式。

传统视觉：相机拍一帧 → 传GPU → 模型推理。

神经形态路线：像素异步发脉冲 → 事件流直接进脉冲网络 → 边产生边计算。

时识科技 Aeveon 芯片，3.4mm×3.4mm，240fps下功耗10mW，支持1000fps，延迟约1ms，数据量降90%。

这条路的意义不是“更快一点”，而是把感知和计算打成一体：省带宽、省功耗、低延迟，适合塞进机器人、穿戴设备、边缘端。

难点也真实存在：纯脉冲系统端到端训练还不成熟，忆阻器+视觉+脉冲的闭环离大规模量产还有距离。所以行业现在多用 ANN+SNN 混合架构过渡。

神经形态视觉解决的，是“感知即计算”。

七、短波红外：看见人眼和普通相机看不见的东西

短波红外（SWIR）覆盖约900–1700nm。它能穿透硅片、识别水分、看穿雾烟、检测果蔬内部损伤。

过去SWIR传感器贵，因为依赖InGaAs等特殊材料。2026年两条降本路径同时出现：

• 韩国KIST用廉价硅加热载流子方案，灵敏度提升到1.8–3倍，兼容现有半导体工艺；
• 华中科大联合九峰山实验室用(Bi,Sb)₂Se₃材料，在1300nm下响应度518.2mA/W、外量子效率47.8%，直接单片集成到商用CMOS读出电路，绕开复杂混合键合。

SWIR一旦便宜下来，第一步就会进车载（穿透雾、暗光补感），再进工业分选、农业检测、医疗成像。

短波红外解决的，是“不可见信息”的获取。

八、压缩感知：数据少采一点，照样能重建

传统采样要按奈奎斯特率老老实实采满。压缩感知的思路是：如果信号本身稀疏，就可以用远少于理论下限的采样次数，把原图重建回来。

高丽大学团队把超透镜+压缩感知CMOS结合，25%压缩率下PSNR做到23.87dB。这不是“画质魔法”，而是给机器人、自动驾驶一个现实出路：

带宽不够、存储吃紧、算力有限的时候，别全采，先采“够用的信息”，剩下交给重建。

压缩感知解决的，是“数据开销”。

九、声学+触觉：补上视觉永远看不到的盲区

视觉有死区：透明物体、遮挡、接触力、材质软硬、抓握滑动。

卡内基梅隆的 VibeMesh 把骨传导 speaker 和压电麦克风分布到手上，用结构声学信号判断“手到底接触了什么、用了多大劲”，再和视觉融合。遮挡再严重，接触信息还在。

工业里同理：电子皮肤、六维力控、声振检测，正在从“附加传感器”变成机器人本体的基础感知层。

声学触觉解决的，是“物理接触”这件事。

十、被动双目 + 深度神经网络：不发射光，也让世界“长”出深度

前面讲了SPAD、事件、高光谱、量子成像……技术很多，但落地到机器人本体，有个很现实的矛盾：

主动光方案（结构光、ToF、部分激光雷达）在室内很舒服，一进户外就容易被太阳光淹掉；遇到玻璃、黑胶、重油金属，又容易“看穿”或“吸光”。

这时候，一条更朴素的路线反而被重新重视——​被动双目​。

两个相机，不发光，只靠左右视图的视差推算深度。原理不新，难的是：透明、反光、弱纹理、强光下，传统特征点匹配会直接崩。

破局点在算法。近年行业里一个明显趋势，是用深度神经网络做视差估计：不让机器只找“亮点对亮点”，而是让网络隐式学习材质、折射、反射、遮挡的物理规律。

多视图几何提供空间约束，物理渲染一致性帮网络判断“这个点云是否符合真实表面”，AI ISP 再在前端把强光、逆光、暗部先压住。等于把原来靠“打光补光喷粉”的工序，收敛进一套算法里。

今年蓝疆行远发布的 Spatiscan S1，可以作为这条路线的一个近期样本：

• 被动双目架构，不依赖主动投射光，避开透明材质透光、黑件吸光、户外强光过曝一类老问题；
• 前端自研 AI ISP 做像素级分区曝光，后端用深度网络做视差与几何重建；
• 玻璃瓶身不镂空、黑件轮廓完整、细毛刷不被当噪点；
• 0.5米内精度约0.17mm，3米距离仍保持3.42mm，兼顾近距精细与中远距定位；
• 在石油钻杆对接场景里，3米外粗定位、1米内识别重油包裹的金属螺纹根部，引导数吨级钻杆旋进。

它不代表“双目取代一切”，但说明了一件事：

当传感器硬件走到某一阶段，真正的差距不在镜头，而在算法能不能把困难物理场景“理解”出来。

被动双目 + 深度神经网络，不是最炫的路线，却很可能是具身智能从展厅走向工地、车间、戈壁的那条最务实的路。

这一节解决的，是“不用额外打光，也能在真实材质和真实光照里长出可靠深度”。

十条路线，最终会汇成一条河

单独看，每条路线都在解决一个维度：

但真正的变化不在“十条线并存”，而在​融合方式变了​。

早期融合是“多买几台相机”：RGB出一份结果，雷达出一份结果，最后拼接。

现在的融合是“多物理场同源”：同一时刻、同一坐标、同一数据流里，同时有颜色、深度、事件、力矩。

而像被动双目这类老路线重新被激活，也提醒行业一件事：不是所有问题都要靠堆新传感器解决，有时候是把已有的眼睛，配上会“理解物理”的脑子。

为什么物理AI特别依赖“好眼睛”

大语言模型困在屏幕里，物理AI要进真实世界。

2026物理AI与世界模型大会上，业内给了一个很朴素的判断：世界模型要能“先模拟再行动、补全看不到的信息、预测接下来发生什么”。

这三个能力，前端都卡在感知：

• 没深度，就不知道杯子在哪；
• 没光谱，就分不清水和油；
• 没事件流，就抓不住高速运动；
• 没触觉，就不知道握力够不够；
• 没多物理场融合，世界模型拿到的就是残缺输入。

所以物理AI的竞争，表面是模型，底层是感知。谁先把“眼睛+耳朵+触觉”做成统一、实时、端侧可部署的系统，谁才真正有资格谈“理解物理世界”。

写在最后

机器视觉这轮升级，不是把相机做得更清楚这么简单。

它是把“看”重新拆开：

看颜色、看距离、看变化、看材质、看不可见、看接触、看未来。

九双眼睛背后，是一个更朴素的命题——

让机器不只在屏幕上认图，而是在真实世界里做对动作。

这一步走完，AI才真正从“会说话”，变成“能干活”。

本文综合公开学术成果与产业进展整理，涉及参数均来自论文、企业发布与权威机构报告，仅供技术交流，不构成任何投资或采购建议。