工具機台數顯辨識

應用主題

許多量測工具或工業2.0的傳統機台的檢測數據是採用七段顯示器進行顯示，這些數據一方面只能供使用者觀看而無法跟其他系統直接進行整合，另一方面也因為字型特殊而無法用一般的OCR軟體進行辨識。透過慧眼的協助，這些僅供人眼觀看的資訊會先轉為圖片，再使用深度學習視覺辨識AI技術進行辨識後聯網儲存資料庫，提供後續工業3.0/4.0開發相關應用。

附註：本專案項目是由鼎新電腦與東海大學進行產學合作共同研發。

應用內容

慧眼智能OCR軟體安裝於可以跟企業系統聯網的電腦（位於下圖的AI主機端），該部電腦會對外部提供基於網路的OCR服務。智能工廠的使用者會使用具備影像功能及網路的行動裝置（如：手機），對量測工具或工業2.0機台的七段顯示器之檢測結果進行拍照，再透過網路將照片傳給AI主機端的慧眼進行辨識並接收慧眼的辨識結果。使用者於行動裝置端確認慧眼回傳的辨識結果後，即可讓慧眼將辨識結果儲存至企業系統端的資料庫。下圖即為系統運作流程。

應用技術

第一步驟為數字偵測，透過圖像處理技術匡列出數字部分；第二步驟為數字辨識，透過文字辨識技術將步驟一匡列區域進行數字辨識。以下為進一步說明：

數字偵測：接收輸入影像後透過模型訓練產生數字候選位置框，接著消除多餘位置框找出最佳的數字候選位置框，作為此階段輸出。
數字辨識：基於數字候選位置框進行歪曲影像的修正，然後以深度學習的神經網路為基礎，並加添注意力機制完成最後的辨識任務。

應用案例

面臨問題

工廠在進行各種加工程序時，對產品或物料進行檢驗是不可或缺的作業。而檢驗結果則必須與企業系統進行整合，以利後續各項相關作業的進行。但案例工廠除了可以自動化檢驗的聯網機台之外，仍然存在一些必須由人工使用未聯網的工具或機台進行檢驗的作業，工作流程如下：

數值檢測：使用量測工具或機台針對產品或物料進行量測。
記錄數值檢測結果：使用隨身攜帶的紙筆記錄下量測結果。
輸入作業：回到電腦前，將之前使用紙本記錄下的結果輸入電腦內。

上述現行作業流程中，面臨以下三項挑戰：

作業員需要於檢測時耗費人力使用紙筆記錄檢測數值。
作業員使用紙筆紀錄時可能有污漬或抄錄不清的問題，造成之後錄入的困難或錯誤。
作業員於檢測結束後，必須回到電腦前再次輸入檢測結果，造成重工。

解決問題與挑戰

藉由我們所開發的慧眼智能OCR軟體，為案例公司解決以下限制及困擾。

檢測數據無法數位化聯網傳輸：
沒有聯網功能的檢測工具或機台設備所產生的數據，可經由行動裝置（如：手機）進行拍照轉為圖片，再透過慧眼自動辨識圖片中所呈現的七段顯示器數字之檢測數據。
資訊擷取方式耗時費工有錯誤風險且缺乏即時性：
顯示於工具或機台螢幕的檢測數據，透過慧眼辨識及使用者確認後，即可回傳API自動寫入企業系統資料庫，除了節省大量人力，並能即時且正確地呈現生產現場狀況，進而讓管理者基於這些資訊提升生產現場的管控效率。

與一般的OCR應用相較，本方案的挑戰在於檢測工具或機台用來顯示檢測數據的七段顯示器並非一般電腦字型，所以無法直接套用現有的OCR模型對檢測數據進行辨識，必須由本團隊依據生產現場的需求自行訓練適合的OCR模型。此外，每一種檢測工具或機台的七段顯示器所顯示的字型都有些微差異，所以OCR模型的通用性也是一個必須解決的問題。

因此，在施行本方案時，必須先針對生產現場所使用的檢測工具及檢測機台，儘可能地蒐集其檢測數據的圖片，以利訓練OCR的AI模型時，能夠預先學習到各種七段顯示器所有可能顯示出來的檢測數字並自動找出其中的關連性特徵，以提高辨識的準確性。

案例專案解決方案

下圖即為本團隊在蒐集檢測數據之圖片並訓練慧眼智能OCR後，針對生產現場七個檢測工具的數顯樣本進行辨識的結果範例。下圖中的最左列為行動裝置端拍攝圖片後所輸入的影像，中間列為輸入影像經過慧眼智能OCR進行數字偵測後的結果，最右列為數字偵測部分經過慧眼智能OCR進行數字辨識所產生之最後結果。

回首頁