康耐視部落格

使用深度學習裝配驗證工具識別各種不同元件或組件配置

assembly verification inspections on car doors

機器視覺已有驚人進展,可讓先進演算法依據最微小的特徵或標識,區分外表極為相似的組件。在檢測明確性與精準度,還有程式設計與訓練的前期投資之間,不得不有所取捨。若要開發線性規則,教導電腦區分單一組件的數百或數千種可能的變化,不出所料會極為費時。

而且,還不盡然是萬無一失的方法。

呈現對比鮮明的圖案與鏡面眩光的非結構化和/或相當複雜的場景,可能變得過於龐大而無法設計程式,特別是裝配驗證應用需要識別大量外觀各異並出現在許多配置中的組件時。即使當組件一致且製造良好,裝配驗證檢測仍是最難以自動化的部分。這是因為,雖然機器視覺系統能容許組件外觀因縮放、旋轉或樣子變形,而出現的一些變化,但面對繁複、雜亂的表面特徵以及照明不佳等的情況時,則會造成相當艱鉅的難題。機器視覺系統難以鑒別外表極為相似組件之間的變化與誤差。

當組裝或子組裝包含許多誤差與變化時,在這些所有的差異變得過於難以鑒別,而無法設計程式或分辨之前,只會不斷加重系統負擔。將這些檢測交由人類檢測人員進行,不僅效率不彰,也無法擴充產能,而且由於檢測人員會疲勞與其之間的不同成見,仍可能會造成錯誤。

深度學習圖像分析工具是將最嚴峻的裝配驗證檢測自動化的替代方案。

汽車業裝配驗證

汽車製造業的許多物件與場景都無法預測,而且在各種不同的組裝階段,向相機呈現的外觀也會有所不同。眾所周知,最終裝配是整輛汽車成品最難處理的驗證流程。因為對於定義傳統機器視覺開發的逐步篩選與基於規則的演算法,這會形成棘手難題。

裝配驗證汽車業

隨著缺陷資料庫不斷增長且配置變化擴大,這些演算法變得過於龐大而無法維護。最終裝配驗證可測試的程式設計極為有限,原因是照明、色彩、曲面或視野等多項變數不斷改變,對於電腦與相機而言,非常難以辨別。這也是為什麼傳統上,都要人工檢測人員在最終的汽車裝配階段不斷執行外部檢查的原因。雖然他們善於識別許多不同的組件與特徵,但是當不同的汽車型號在照明條件不斷變化的生產線上向下行進時,人工檢測人員仍可能會有不一致的判斷。

改用深度學習軟體能可靠地從色彩與元件等,構建可參考特徵的資料庫,並在完成裝配的整輛汽車相片內加以識別。由此,再新增一項功能特徵,即可輕鬆將最終裝配驗證檢查自動化:找到並識別元件之後,軟體即可提供「合格」或「不合格」結果。

電子業裝配驗證

電子業製造廠商欣然採用深度學習,用於其裝配驗證應用中所需相當判斷本位的決策流程。訓練檢測系統發現並驗證多個元件存在與否,以及位置是否正確,實在過於費時。檢測的圖像中含有許多彼此緊靠或接觸的極小元件時,幾乎不可能或因為過於複雜,而無法使用傳統機器視覺來解決。

裝配驗證電子產品業

一項電子硬體 (像是保險絲盒) 完成組裝後,必須檢測是否有可能會妨礙性能或危害安全的任何缺陷、汙染物、功能性瑕疵或其他不規則處。需要在將保險絲盒裝配到裝置或出貨給客戶之前,發現這些錯誤。深度學習軟體經過最佳化,適合在這些干擾條件下工作,包括圖像對比度低或拍攝品質不佳。

最後若要驗證保險絲盒的完整組裝,深度學習工具會先根據已對各種組件類型位置加上標籤的圖像,學習識別許多電子元件。工具的神經網路可從這項輸入構建每項元件的參考模型:這包括其正常尺寸、形狀及表面功能特徵,還有位在盒上的一般位置。在運作期間,工具會分割盒上包含元件的所有區域,以正確地識別元件存在與否,以及類型是否正確。

包裝業裝配驗證

考量驗證冷凍食品包的組裝正確與否的工作。數個食物托盤的包裝外觀可能很相似,但內部包含不同的商品組合。相反地,所有包裝中可能都有相同的食物成分,但其配置與份量大小可能有所變化。

裝配驗證包裝業

使用傳統機器視覺,為食物成分數量與各種不同配置設計程式,不僅費時,難度也很高,特別是很難只使用單一工具,在單一圖像內自動找到和識別多項功能特徵。隨著例外與缺陷資料庫逐漸增長,任何最終包裝的裝配驗證應用中相當複雜的場景,可能會難以控制。

深度學習圖像分析不僅可學習各項食物成分外觀的些微變化,還會學習可接受的配置,而能輕鬆識別正確組裝的食物托盤。完成訓練個別成分的正常外觀之後,軟體可針對要找出的各種不同食物構建完整的資料庫。在運作期間,檢測圖像可分割成不同的區域,讓軟體檢查食物存在與否,以及驗證其類型是否正確。

對於包裝配置會有所不同的情況,軟體可讓使用者靈活地訓練多種配置。深度學習軟體可隨著配置改變加以調整,以持續找到各種不同成分,並確定其屬於正確的類型。如此一來,使用者只須使用一項工具,就可將包裝食物托盤或冷凍食品的驗證流程自動化。

消費性電子業裝配驗證

在行動裝置面板或模組裝配期間,鬆脫的螺絲等異物掉入生產線上鄰近模組織中外殼之中,並非前所未聞。務必要探測任何內含物,免得在最終裝配期間造成或阻塞或損害。碎片通常很小,而且無論是明暗的對比度極小、所朝方向的變化,或金屬眩光,外觀上些微的差異都會混淆自動化檢測系統的判斷。

裝配驗證消費性電子業

同時,這些條件類型也會讓檢測系統難以得知預期的元件是否在正確的外殼中。最後,行動裝置面板包含許多彼此緊靠的組件,檢測系統可能難以區分為獨立的元件。

為這些所有變數設計程式,撰寫為基於規則的演算法相當費時、很容易發生錯誤,也難以在現場維護。幸好,深度學習圖像分析軟體可學習正確面板或模組許多元件的成品外觀,以識別未正確放置的組件,例如螺絲。以有碎片存在或元件遺失的「不合格」模組圖像,以及已知正確裝配的「合格」模組圖像進行訓練,像是康耐視深度學習的工具可建立行動裝置面板的參考模型,在嚴峻的條件下發展茁壯,並能夠如同人工檢測人員一樣,可靠地識別任何有缺陷的面板,但具備自動化系統的速度與可靠性。

傳統上,裝配驗證應用都會降級以人工檢測人員進行。不過,在生產線上需要每分鐘都可靠並重複不斷地檢測數百或數千個組件,人工檢測能力並不足以勝任。深度學習工具現在能填補這個空缺。

康耐視深度學習以加上標籤的圖像進行訓練,不需要任何軟體開發,即可正確地找到和識別不同尺寸、形狀及表面特徵的組件。克服這項障礙之後,確認正確元件存在與否,還有是否以正確配置擺放,都變得輕鬆容易,而且和傳統視覺不同的是,完全不需要建構額外的邏輯。

其他文章

取得產品支援與訓練等等

加入 MyCognex

是否有任何疑问?

世界各地的康耐视代表可以随时为您提供支持,满足您的视觉和工业读码需求。

聯絡我們