3D立體成像技術通常用于焊線（bonding wire）檢查，但存在許多挑戰。其中挑戰之一是難以使用塊匹配算法來解決對應問題，因為某些焊線可能具有無紋理的水平結構。對于這樣的對象，對應搜索可能失敗或執行低效，因為算法的圖像內容對于水平方向上的多個塊是相同的。

圖1：此示意圖顯示了成像系統組件的定位方式。

其他挑戰還包括平行垂直線間距和陰影效應。

幸運的是，這些限制是有可能被克服的，要克服這些挑戰，要從“優化用于焊線檢查的3D立體成像系統”開始。

由于焊線直徑可以從幾微米到幾百微米，光學分辨率高度依賴于應用。在選擇用于焊線檢查的合適的工業相機時，開發人員必須仔細考慮高度分辨率、高度范圍和視場。

管燈通常是用于焊線檢查應用的最合適的光源。這類裝置提供均勻的空間照明，具有出色的時間穩定性和光譜穩定性，有助于保持圖像的外觀不隨時間而改變。

為確保優化設置，用戶必須考慮工作距離，從而將相機和光源安裝在離掃描表面合適的距離（見圖1）。將相機相對于表面法線（掃描線）以大約5°的角度安裝（不是0°安裝），使得物體在場景照明更強的位置處成像。

考慮到相機的傾斜角度，為了從中心角度精確測量高度，數值要乘以傾斜角的余弦值（見圖2）。

圖2：高度測量中相機傾斜角的校正可以用公式完成。

水平線及相應問題    

立體成像應用使用基于相關的塊匹配算法來求解對應關系。沿著傳感器線，在水平方向上執行一對立體圖像的左圖像和右圖像之間的對應搜索。

如前所述，在焊線檢查中，對應搜索可能失敗或執行低效，因為塊匹配的圖像內容對于水平方向上的多個塊是相同的。

圖3給出了該問題的圖示，其中視差圖像顯示了非水平線的有效視差值（均勻灰色），以及水平線的可能錯誤或不相關的值（不均勻的灰色和黑色區域）。

圖3：從視差圖像中，我們看到非水平線的有效視差值（均勻灰色），以及水平線的可能錯誤或不相關的值（不均勻的灰色和黑色區域）。

該問題的三種可能解決方案包括：

?如果可能，在圖像平面中旋轉掃描對象，使水平線不會出現。

?如果可能，旋轉相機使掃描線不垂直于掃描方向。

?使用圖案投影儀在焊線上創建獨特的圖像紋理。

相對于掃描方向旋轉相機，使得焊線和傳感器線不再平行，有助于防止跨多個水平塊的相同圖像內容，并且避免潛在的不匹配或不相關的值。

使用線掃描相機時，由此旋轉產生的剪切圖像內容在進行2D幾何測量時，可能會導致不準確。因此，使用幾何校準和后續的圖像后處理來補償這種圖像剪切是很重要的。小的旋轉角度通常不會影響RGB圖像質量。然而，隨著角度的增加，可能需要單通道3D計算以減少紅色、綠色和藍色像素在傳感器方向上移位，以及所得到的彩色圖像的光學低通濾波的影響。

平行垂直線的間距    

掃描場景中對象的高度范圍通常確定用于3D計算工作所需要的平行垂直線的最小距離，該關系取決于基于相關的塊匹配算法如何工作。

例如，圖4顯示了一對立體圖像的左右圖像。左側相機圖像中的紅色標記區域顯示給定窗口大小的參考塊。塊匹配算法在預定義的視差搜索范圍內，搜索右側相機圖像中的對應塊，并以黃色標識出來。

注意，中間圖像中相當小的視差搜索范圍僅包括一條線，即與參考塊匹配的線。相反，右側圖像中顯示了具有覆蓋多條線的視差搜索范圍的情況，其中塊匹配可能由于模糊的對應而失敗。

圖4：圖中顯示了一對立體圖像的左右圖像。左相機圖像中的紅色標記區域是給定窗口大小的參考塊。中間圖像顯示較小的視差搜索范圍。右圖顯示了覆蓋多條線的視差搜索范圍。

因為視差搜索范圍決定著3D測量的高度范圍，并且通常取決于檢查任務的感興趣區域中的最小和最大物體高度，所以限制范圍以確保唯一匹配并不總是可能的。對于此類應用，開發人員應考慮使用其他方法，例如在立體圖像對中分割左右圖像中的單獨的焊線，以及通過標準2D圖像處理算法標記相應的焊線。如果已知焊線或焊點的起點和終點的圖像位置，則標記任務應該相對簡單。

在此之后，可以創建僅包含焊線的人工圖像對，其中在視差搜索范圍內可以實現唯一匹配，并且將對應的視差圖像合并到單一高度圖中。使用這種方法的折衷是：增加計算需求，計算量會隨著要求處理的單一焊線的圖像對數量的增加而增加。加速系統的一種方法是：使用并行多個場景的分布式計算，以及每個場景至少一個GPU。

通過Chromasens 3D-API的rawImageCoordinatesTo3D功能，還可以從立體圖像對的相應圖像點計算3D坐標。基于此，通過使用圖像處理來提取右側和左側立體圖像的線上的對應點，可以解決垂直線問題。將得到的離散3D坐標合并到3D圖像中焊線的全局表示也是可能的。通過使用該方法，基于特定應用圖像處理的焊線探測方法，取代了基于圖像相關的塊匹配方法。

陰影效應    

在掃描場景中，定向照明通常會導致焊線投射到背景上的陰影。管燈能減少這種效應。但是，在檢查某些背景材料和焊線時，可能會殘留陰影效應（見圖5）。

當左側圖像和右側圖像的相關窗口的圖像內容，在對應區域中包含不同的陰影時，這種陰影就會帶來問題。在這種情況下，塊不匹配并且相關值低。

圖5：立體圖像對的左側圖像和右側圖像中的陰影效應。

左右相機之間的透視差異使得陰影出現在立體圖像的不同位置。改善場景照明（這并不總是可能的，并且可能需要復雜的定制光源）是克服該問題的一種方法。

減少相關窗口塊尺寸是另一種方法。但是，有必要選擇所需的最小尺寸，同時確保在相應的窗口中保留足夠的獨特紋理特征以進行3D計算。通過圖像處理技術從立體圖像對中去除陰影也是可能的，例如從包含陰影效應的背景中分離焊線。通過設置為零值刪除背景區域后，Chromasens的3D API-through通過配置可以在計算中忽略這些區域。

雖然存在水平線、平行垂直線間距和陰影效應的挑戰，為成功實現用于焊線檢查應用的3D立體視覺系統帶來了困難，但是也存在一些方法能夠克服這些障礙。