機器人視覺與觸覺的融合在智能機器人中，手眼系統是最具有代表性的，通過這AD8611ARZ些機器人可以進行物體的識別、測量和控制。由于有了可以進行觸摸的機械手，可以用視覺信息引導觸覺系統的運動，同時觸覺系統反過來又能驗證視覺系統的結果。圖5-50所示是一個典型的手眼系統，可以用來識別普通的沒有明顯紋理特征及顏色相近的物品，這對于單純的視覺系統來說是非常困難的。如果這時只利用視覺識別系統，那么就會缺少用以匹配及深度分析的特征。通過融合視覺信息和觸覺信息可以有效地識別洞、坑和曲面形狀等信息。

   這種手眼系統的一殷工作可分為如下五個步驟。

   ①利用二維視覺處理技術確定邊界區域，利用立體視覺確定物體的質心，由此作為觸覺探測的起點，同時立體視覺可以提供對深度和朝向的初步計算結果，并除去由遮攔、噪聲等原因形成的孤立特征。在只有視覺處理的系統中，對于非稠密的深度只有通過內插來估計。借助于觸覺可以大大提高內插的精度。

   ②利用觸覺系統進一步檢查視覺系統識別到每個區域，以決定其是表面還是洞或坑。

   ③對于平滑區域，利用視覺和前面觸覺的結果以及當前的觸覺信息相融合，生成與模型數據庫相匹配的三維表面，從與表面相連的位置開始。觸覺通道利用結點決定表面蹤跡的方向，將這些點沿著每條蹤跡連接成閉合曲線，用以補充立體視覺處理過程中獲取的信息。

   ④利用表面和閉合曲線（對應孔或坑）與模型數據庫相匹配，得到與傳感信息一致的物體。如果一致的物體是多個，那么用概率測量，需要驗證的物體進行排隊。

   ⑤一旦確定了與數據庫對應的物體，下一步需要對未被感知的特征進行驗證。對于視覺上被遮擋的洞和坑就需要用觸覺感知來檢測，但只靠觸覺感很難的，因此視覺檢測在這里所起的作用是對觸覺系統的引導和確定，需要觸覺探測的區域。