智能工廠檢驗助理

應用主題

在智能工廠的檢驗作業中，仍然存在必須由作業員進行人工檢驗的部分，且這些檢驗工作可能是透過沒有聯網功能的量測工具或工業2.0的傳統機台進行，因此這些檢測數據必須透過人工抄寫再事後登錄而無法跟企業系統直接進行整合。此外，作業員也可能必須在進行檢驗工作前特地至企業系統查詢相關工作事項，並在檢測完成後耗費人力查詢檢測標準並確認檢測結果合格與否。

本團隊基於Human-in-the-Loop的概念所開發的智能工廠檢驗助理，重新設計人機交互模式如下所述。

行動裝置做為互動介面：以行動裝置（如：手機）查詢檢測工單，並運用語音及圖像的AI技術作為檢測數據錄入之前端設備。
檢測數據AI錄入：透過[語音識別]以及[圖像處理OCR]兩種AI技術，將錄入的檢測數據進行數位化。
作業指導書智能判讀：利用自然語言處理的AI技術，自動針對作業指導書所規範的檢測標準以及檢測數據進行智能比對。

檢測結果及智能判讀的結果會聯網儲存至企業系統的資料庫，提供企業系統進行後續工業3.0/4.0相關應用的開發。

附註：本專案項目是由鼎新電腦與東海大學進行產學合作共同研發。

應用內容

下圖即為本團隊提出之智能工廠檢驗助理之方案設計。首先，作業員透過行動裝置端的APP連結後端資料庫，查詢檢測對象（產品或物料）的工單。接著作業員依據行動裝置端的APP所提示的檢測順序，依次進行檢測後交由AI主機端進行識別：在本案例中，檢測方式為數值量測時可選擇數顯識別或語音識別，而檢測方式為外觀檢測時則僅能語音識別。AI主機端進行識別後會將識別結果傳送至行動裝置端的APP供作業員進行確認，一旦作業員確認無誤後，行動裝置端的APP會自動將所有檢測結果即時傳至企業系統端的資料庫進行儲存。完成檢測後，作業員可透過作業指導書智能判讀模組進行檢驗數值合格與否的判別：首先選取已檢測之對象（產品或物料），然後選擇以AI進行檢測數值的自動驗證，最後的驗證結果會以網頁表單方式呈現，逐一列舉檢測對象的檢測數值是否符合作業指導書的規範。

應用技術

本方案包含四大核心模組：[行動裝置端的APP]、[AI主機端的數顯辨識]、[AI主機端的語音辨識]、以及[作業指導書智能判讀]，分別說明如下。

行動裝置端：
本方案的APP在設計時的準則，包括[目前作業人員流程最小改變]，[較佳檢測操作體驗]，[降低作業員的APP學習曲線]，以及[避免APP使用時與實際現場環境及作業限制產生衝突]。依據上述設計準則，APP的特色如下。
- 透過後端資料庫自動帶入檢測對象之工單。
- 檢測結果可直接透過語音輸入。
- 數值型檢測亦可透過數顯辨識直接判讀數值輸入。
AI主機端的數顯辨識：
詳見[工具機台數顯辨識]的案例介紹。
AI主機端的語音辨識：
主要是採用既有的雲端服務。但因為中文字大約有1300個音以及13000個字，平均一個音會對應到10個字，因此同音字很容易產生語音識別錯誤的問題。為了解決此歧義問題，本團隊發展一後處理機制，根據檢測對象及檢測項目的脈絡，從同音字中自動選擇最適文字。例如音為[八]時，會在數值量測項目選擇識別結果為[8]，但檢測項目為外觀檢測時則選擇識別結果為[疤]。
作業指導書智能判讀：
此模組的核心技術是自然語言處理的AI，包含以下步驟：
- 作業指導書搜尋：作業員選取檢測對象後，AI會自動從企業系統的知識庫中找尋與檢測對象匹配的目標作業指導書。
- 關鍵字提取：先將文本檔案中因斷句而分開的的句子或段落進行合併以避免數據遺失，而後透過對文本脈絡理解提取所需關鍵字。
- 模式比對：包含精確比對與模糊比對兩種模式。精確比對意謂來源與目標必須一致（如：檢測項目的名稱），模糊比對則對來源與目標做相似程度檢測再透過閥值校正以獲取最適化結果（如：無標準格式的檢測內容）。
- 校對判斷：將上一步驟結果做[正確/錯誤]的二值化判斷。
- 可視化：將上一步驟產出之結果，以回應式網頁呈現。

應用案例

面臨問題

工廠在進行各種加工程序時，對產品或物料進行檢驗是不可或缺的作業。而檢驗結果則必須與企業系統進行整合，並確認檢驗結果是否符合規範，以利後續各項相關作業的進行。但案例工廠除了可以自動化檢驗的聯網機台之外，仍然存在一些必須由人工使用未聯網的工具或機台進行檢驗的作業，工作流程如下：

查詢作業對象：開始作業前需先查詢工單關於今日要檢查的對象（產品或物料）。
數值檢測：使用量測工具或機台針對產品或物料進行量測。
記錄數值檢測結果：使用隨身攜帶的紙筆記錄下量測結果。
外觀檢測：利用雙眼針對產品或物料做外觀評估與檢查。
記錄外觀檢測：使用隨身攜帶的紙筆記錄下評估與檢查結果。
輸入作業：回到電腦前，將之前使用紙本記錄下的結果輸入電腦內。
作業指導書判讀：使用人工比對方式，將記錄結果與作業指導書比對，是否存在不符合之規定專案。

上述現行作業流程中，面臨以下三點問題：

作業員需要於檢測作業開始前到電腦前查詢工單，並於檢測結束後再次回到電腦前輸入檢測結果，反覆移動的流程相對麻煩。
作業員使用紙筆記錄檢測數值時可能有污漬或抄錄不清的問題，造成之後測試數據錄入的困難或錄入錯誤，同時也造成重工。
人工讀取作業指導書進行檢測數值合格與否的判別，除了需要作業員的額外人力付出，且作業員也可能在一天的疲憊檢測後造成人為的判別錯誤。

解決問題與挑戰

針對上述三點問題，本團隊開發了[智能工廠檢驗助理]，是一個基於Human-in-the-Loop的概念所開發的智能解決方案，並具備以下特點：

簡化互動流程：
將[查詢工單]及[輸入檢測結果]的人機互動步驟統一於行動裝置端進行。
自動辨識暨數位化檢驗結果：
具備[數顯辨識]及[語音識別]兩種符合使用者體驗的資訊輸入功能。
高效穩定的判讀：
可自動讀取指導書規範並比對檢測結果。

藉由導入[智能工廠檢驗助理]，我們為案例公司帶來以下效益：

加快檢測速度：檢測結果直接數位化且輸入方式符合作業員的自然交互。
提高判讀的準確性：藉由自然語言處理AI進行符合需求的精確比對及模糊比對。
降低人力成本：避免輸入檢測結果的重工，且作業員僅需進行確認。

案例專案解決方案

下圖即為案例公司實施本團隊的智能工廠檢驗助理後，作業員使用行動裝置時的APP介面說明。首先，作業員選擇欲檢測的對象，並獲得該檢測對象的檢測項目列表。

若檢測項目屬於數值類型，則會顯示[語音輸入]及[拍照上傳]的兩個選項（下圖左）。

若選擇[語音輸入]（下圖中），作業員會依據檢測結果上傳一個語音檔案到AI主機端進行語音辨識，並於行動裝置端的APP收到AI主機端針對語音檔案進行語音辨識後的結果。

若選擇[拍照上傳]（下圖右），作業員會拍攝圖片上傳到AI主機端以AI進行OCR辨識，並於行動裝置端的APP收到AI主機端針對圖片進行數顯辨識後的結果。

若檢測項目的檢測結果屬於一般輸入的類型，則會顯示可直接點選的[預設選項]讓作業員進行選擇（下圖左）。若作業員認為沒有適合檢測結果的[預設選項]可以點選，也可以點選[語音輸入]直接輸入檢測結果（下圖右）。

當作業員輸入所有檢測項目的檢測數值後，即可在[作業指導書智能判讀]的模組看到[檢測工單一覽表]之畫面（如下圖），看到所有已進行檢測的工單。作業員可針對各工單點選對應的[已量測項目數]的數字，然後就會出現新視窗（如下下圖），列出作業員針對該工單各檢測項目已輸入的對應檢測結果。

作業員可在[檢測工單一覽表]針對想要進行自動判讀的工單點選對應的[AI判讀]按鈕，然後就會出現作業指導書智能判讀的結果（如下圖），除了統計合格與否的數量，也會逐一列出各檢測項目於作業指導書的規範標準，並說明智能判讀認為錯誤的原因及列出檢測項目所對應的檢測數值。

回首頁