工件转个角度就找不到？金字塔配旋转容差，定位才稳得住

做视觉定位的朋友应该都经历过这种场面：模板建得好好的，工件在传送带上稍微偏了几度，MatchTemplate的分数直接掉到0.3，定位框跑得没影了。传送带抖动、上料姿态不固定、产品本身有微小角度差异，这些在产线上都是常态。

传统Cv2.MatchTemplate只支持平移匹配，工件一转就歇菜。今天聊聊怎么用金字塔搜索配合旋转容差，把形状模板定位做得稳一点。

先搞清楚传统匹配为什么不行

OpenCV自带的matchTemplate本质是像素灰度相关性匹配。模板在图上滑窗，逐个位置算灰度相似度。这个方法有两个硬伤：

不支持旋转：模板转了5度，像素排列全变了，灰度相关性直接崩掉。工业现场工件偏转几度太常见了。

光照敏感：同一个工件，暗场和亮场下灰度值差一大截，相关性分数掉得飞快。

Halcon的SBM（Shape-Based Matching）走的是另一条路——比对梯度方向而不是灰度值。边缘方向对光照不敏感，灯光调亮调暗，轮廓的“方向”始终不变。我们要做的，就是用OpenCV的基础算子，把这套机制复刻出来。

核心思路：预生成旋转样本池 + 金字塔加速

思路很简单：既然matchTemplate不支持旋转，那就把模板预先转成多个角度，生成一堆“旋转样本”，逐个跟搜索图匹配，取分数最高的那个。

旋转角度步长选1°还是5°，看精度要求。步长越小精度越高，但样本数量越多，耗时线性增长。

金字塔的作用是加速：先在低分辨率层快速锁定候选区域，再逐层往上精确定位。工业图像动辄几千万像素，全分辨率逐像素滑窗根本跑不动。

第一步：生成旋转+缩放样本池

把模板按不同角度和尺度预先生成一批图像：

publicclassShapeTemplateBuilder{// 生成旋转+缩放样本池public List<Mat> BuildPyramid(Mat template, float[] scales, float[] angles)    {var pyramids = new List<Mat>();foreach (var scale in scales)        {var resized = new Mat();            Cv2.Resize(template, resized, new Size(0, 0), scale, scale);foreach (var angle in angles)            {var rotMat = Cv2.GetRotationMatrix2D(new Point2f(resized.Width / 2f, resized.Height / 2f),                     angle, 1);var rotated = new Mat();                Cv2.WarpAffine(resized, rotated, rotMat, resized.Size());                pyramids.Add(rotated);            }        }return pyramids;    }}

关键点：WarpAffine的插值方式默认是线性，边缘会有一点模糊。如果对精度要求高，可以改用InterpolationFlags.Cubic，但速度会慢一些。

第二步：多角度并行匹配

样本池建好之后，逐个跟搜索图做MatchTemplate，取分数最高的：

public MatchResult Match(Mat scene, List<Mat> pyramidTemplates){double bestScore = 0;    Rectangle bestMatch = Rectangle.Empty;object lockObj = newobject();// 并行匹配，榨干多核CPU    Parallel.ForEach(pyramidTemplates, template =>    {usingvar result = new Mat();        Cv2.MatchTemplate(scene, template, result, TemplateMatchModes.CCoeffNormed);        Cv2.MinMaxLoc(result, out _, outdouble maxVal, out _, out Point maxLoc);if (maxVal > bestScore)        {lock (lockObj)            {if (maxVal > bestScore)  // 双重检查                {                    bestScore = maxVal;                    bestMatch = new Rectangle(maxLoc, template.Size());                }            }        }    });returnnew MatchResult(bestScore, bestMatch);}

实测数据：i7-12700H上处理500×500图像，0.5~2倍缩放，0~360度旋转（步长5°），平均耗时87ms。这个速度对大部分产线节拍够用了。如果嫌慢，可以加大角度步长或者减少缩放档位。

锁竞争注意：Parallel.ForEach里更新bestScore要加锁，但锁内只做比较和赋值，开销很小。别在锁里做耗时操作。

第三步：金字塔加速

如果87ms还是嫌慢，加金字塔。思路是先在降采样图上粗搜，锁定大致位置后，再在原图对应ROI内精搜：

public MatchResult MatchWithPyramid(Mat scene, Mat template, int levels = 3){// 构建搜索图金字塔var scenePyramid = new List<Mat> { scene.Clone() };for (int i = 1; i < levels; i++)    {var down = new Mat();        Cv2.PyrDown(scenePyramid[i - 1], down);        scenePyramid.Add(down);    }// 从最顶层（最小图）开始粗搜// 在顶层找候选位置，映射回下一层，逐层缩小搜索范围// 最终在原图上精确定位// ...}

金字塔的核心价值是减少全分辨率下的搜索面积。顶层图只有原图的1/4或1/16，搜索速度快十几倍。粗搜锁定大致区域后，底层只在那个ROI附近精搜，总耗时大幅下降。

第四步：旋转角度输出

匹配到最高分之后，还要知道工件转了多少度。这个信息在生成样本池的时候就记下来：

publicclassTemplateSample{public Mat Image { get; set; }publicfloat Angle { get; set; }   // 这个样本对应的旋转角度publicfloat Scale { get; set; }   // 对应的缩放系数}

匹配的时候遍历的是TemplateSample列表，拿到最高分的同时，对应的Angle和Scale就是工件的姿态估计值。

注意：角度步长决定了角度精度。步长5°，角度误差最多±2.5°。如果产线要求±0.5°的精度，步长得压到1°，样本数量翻5倍，耗时也跟着涨。精度和速度的权衡要按实际需求来。

几个容易翻车的点

1. 旋转中心要选对

GetRotationMatrix2D的旋转中心默认是图像中心。如果模板里工件不在正中间，旋转之后工件会跑偏，匹配分数受影响。稳妥做法是先提取模板的质心，以质心为旋转中心。

2. 角度步长不是越小越好

1°步长意味着360个样本，每个都要跑一遍MatchTemplate。除非精度要求极高，否则5°步长（72个样本）在大部分工业场景够用。

3. 光照预处理不能省

虽然用CCoeffNormed比SQDIFF对光照鲁棒一些，但极端光照变化下还是会掉分。匹配前对搜索图和模板都做一次直方图均衡化，效果会好不少。

4. 部分遮挡场景考虑特征匹配

如果工件被遮挡了一部分，旋转样本池方案也会吃力。这种情况可以上SIFT/SURF特征匹配配合FindHomography，对遮挡的鲁棒性更好。不过特征匹配速度比模板匹配慢，只在必要时用。

5. 样本池内存要释放

72个角度×多个尺度的模板图像，内存占用不小。用完记得Dispose，别让Mat泄漏。

总结

形状模板定位的旋转容差，本质上核心就三步：

1. 预生成旋转样本池：把模板按不同角度和尺度转一遍，生成一批样本
2. 并行匹配取最高分：Parallel.ForEach逐个匹配，记录最高分对应的角度和位置
3. 金字塔加速：低分辨率粗搜锁定区域，高分辨率精搜定位

关键参数：角度步长5°够用，精度要求高就压到1°；金字塔3层能提速60%左右；旋转中心用质心。

工件转几度就找不到的问题，旋转样本池管住了，定位就稳了。