作業工序輔助警示
應用主題
應用深度學習的AI視覺模型擔任工廠生產現場的監工，除了對整個加工過程的影像及識別進行記錄，並搭配警示系統即時通知現場人員進行排錯，進而確保生產資源的合理利用及產品的最終品質。
附註：本專案項目是由鼎新電腦與東海大學進行產學合作共同研發。
應用內容
下圖即為本團隊提出的基於AI模型的作業工序輔助警示系統，具體建設方案的部署架構圖。以下會對架構圖的內容進行說明。
首先，必須在生產現場架設鏡頭，而拍攝內容必須包含生產管理人員可以識別的正常工序動作。如果加工人員進行正常工序動作時的影像無法被生產管理人員所識別，則AI也無法學習到相關的場景資訊，那就必須調整現場鏡頭的拍攝角度及位置。
為了能夠讓AI進行即時識別及後續處理，現場鏡頭的影像必須通過串流影像處理模組的協助，將影像即時傳遞到即時檢測模組及現場警示模組，才可以對現場工作人員的工序動作進行識別並在必要時發出提醒或警示。
即時檢測模組會根據訓練好的智能檢測模型對即時串流影像進行識別，而在識別之前會先進行作業起始定位，讓AI模型的識別與現場作業人員的工序進行同步處理。智能檢測模型會從影像中識別出現場工作人員正在進行的加工動作，然後與生產管理人員預先設定的工序進行比較，以檢測目前這個動作是否為正確的工序。即時檢測模組的工序檢測結果會傳送至檢測管理模組進行儲存記錄。若工序檢測結果需要進行警示提醒，即時檢測模組則會對現場警示模組發出資訊。
現場警示模組收到即時檢測模組的資訊後，就會對現場工作人員進行警示或對生產管理人員傳送遠端提醒及來自串流影像處理模組的即時影像，並請生產管理人員對現場的生產行為進行確認或必要的校正。
檢測管理模組則會持續記錄來自即時檢測模組的資訊，完整記錄現場工作人員的工作內容，包含：時間戳、工序、檢測結果，並特別記錄需要警示的畫面截圖，也會保留作業錄影檔。
應用技術
即時檢測模組的核心是智能檢測模型，下圖即為根據現場鏡頭獲取的影像產生智能檢測模型的過程，以下將進行整個過程的說明。
即時檢測模組的核心是智能檢測模型，下圖即為根據現場鏡頭獲取的影像產生智能檢測模型的過程，以下將進行整個過程的說明。
首先，將現場鏡頭獲得的影像分為兩組，訓練影像及測試影像。這是機器學習的經典做法，目的是為了確保AI模型實際上線時的效能。訓練影像的內容會拆分為一幀一幀的圖像，並經過隨機取樣的程式後，交由生產管理人員進行圖像內容的標記，以教導AI有關生產現場場景的領域知識。接下來這些圖像及標記的內容就會交給深度學習的AI視覺模型進行訓練，再通過之前另外分出的測試影像進行模型的驗證。驗證結果會回饋給訓練AI模型的程式以進行AI模型相關參數的自動調校，並在訓練結束並完成驗證後，輸出驗證結果最好的模型，作為即時檢測模組所使用的智能檢測模型。
應用案例
面臨問題
工廠在進行生產加工時必須按照一定的工序標準進行，否則會對產品的品質以及工廠的生產運營造成影響。但案例工廠除了使用機台進行自動化加工之外，仍然存在一些必須由人工進行的工序，而加工人員可能會因為身體或精神上的疲累造成操作失誤。
一旦工序出現問題且無法及時發現，輕則必須耗費時間重新加工，重則可能是整個加工產品的報廢，並浪費之前投入的人力、物力、時間等資源。更嚴重的情況是在未發現工序錯誤的狀況下生產出瑕疵品投放市場，因而對整個企業造成商業及信譽上的損失和風險。
解決問題與挑戰
為了確保工廠生產現場的工序正確，傳統做法是在加工人員進行生產加工時額外配置至少一位監工人員，但缺點在於必須額外配置監工人力，且監工人員在整個加工過程中持續不斷地監督各種細節，也是相當耗費心力的工作。
本團隊所研發的作業工序輔助警示系統，將上述監工人員的角色轉由基於深度學習的AI視覺模型來擔任。藉由AI視覺模型進行協助，一方面可以解放需要專人監工的人力，另一方面也可以即時並準確判斷現場加工人員操作的工序，利用監工人員預先設定的工序進行檢測，確認目前整個生產加工過程是否正確。
案例專案解決方案
經過對現場人員實際作業流程進行分析後，本團隊找出作業工序的關鍵行為並歸納出四個作業階段：其中前三階段每次會使用不同扭矩扳手迫緊十二個工藝螺栓，第四階段則是先卸下工藝螺栓後再迫緊螺栓與螺母組件。下圖即為作業現場照。
經過分析，四個作業階段的作業共計三種關鍵作業行為，分別是迫緊工藝螺栓、卸下工藝螺栓、以及迫緊螺栓與螺母組件。而這三種作業行為，即為本專案的AI視覺模型要識別的目標。下圖即為本專案的系統互動介面，會依據影像內容識別目前的作業行為，並依據之前的識別結果，綜合判斷目前的作業階段以及對應的工序。
若是作業工序輔助警示系統的AI判斷目前所識別的作業工序不符合監工人員事前的設定，就會依據工廠現場的需求，進行相關的提醒及警示。下圖即為本專案之作業工序輔助警示系統出現警示時的介面。
