參賽團隊名稱： 歐尼克斯實境互動工作室
提案動機
台灣為全球手工具第三大出口國，2020年產值1,225億，出口值1,104億。相關產業約有2000多家廠商，包括模具、熱處理、鍛造、組裝等，為國內最重要的金屬產業之一。而其中又有超過七成業者集中在中彰投地區，是全球唯一最完整聚落，堪稱世界級「隱形冠軍」。盒式手工具組在北美及歐洲等喜歡自己動手作（DIY）的市場非常受歡迎，也是台灣手工具業的主力產品。由於內容物非常多樣式、大小不一、數量從十數件到一百多件都有，為使零件牢固卡在盒中，所以通常需要作業員以人工方式用力塞進指定位置，又不能傷及塑膠盒外觀。流水線上有很多位作業員，每一人負責擺放數件，在末端再由人工目視檢查是否缺件，沒問題就可加上外包裝出貨。
如前述作業模式，在流水線末端由於僅靠作業員以目檢方式確認缺件，有時還是會因視覺疲勞或稍微愰神而漏檢，導致出貨缺件，造成後續客訴、退貨等影響商譽問題產生。業界缺件率水準約1~3%。因此有些廠商導入傳統「機器視覺」進行檢測，但因金屬表面很容易反光（鏡面）或吸光（全黑霧面）導致誤判率很高。所以這項問題很適合以「人工智慧（深度學習）」模型來協助辨識降低缺件率。
解決方案
- 硬體：
- 研揚(AAEON) UP Xtreme i11 EDGE (i11 i5-1145GRE 8GBx2 256GB)
- 羅技(Logitech) C920r HD Pro 高解析度視訊攝影機。
- 華碩(ASUS) MB169B+ IPS 15.6吋超薄USB供電外接式顯示器。
- 自製視覺檢測箱（模擬生產線移動待檢工作盒）
- 軟體：
- Ubuntu 20.04 LTS (AAEON UPX i11 Edge使用)
- Intel OpenVINO 2021.04 LTS (模型轉換及推論加速用)
- Anaconda (Python程式開發及PyTorch模型訓練用)
- QT + Creator (人機介面及工具程式開發)
- ScaledYOLOv4-csp開源模型 (PyTorch版本)
本系統模擬生產線由輸送帶（綠色底板）運送工具盒並檢測是否有缺件。
工具盒有六種物件，分別為：T0 蓋板, T1 螺絲頭（可左右擺放）, T2 套筒, T3 螺絲起子, T4 手把, T5 延伸桿。
成果介紹
檢測時利用高解析度（1280*720）網路攝影機做為取像設備，模擬六種滿料及部份缺料情境及各三種角度（平行、上傾及下傾）由左至右行進，共取得18組影片段。再利用自己開發的影片自動間隔取出影像的工具取得訓練及測試集，去除重覆（不動）的影像後，共得394張影像，其中60%作為訓練集、20%作為驗證集及20%的測試集。
使用用較新的ScaledYOLOv4-csp開源物件偵測模型(PyTorch格式）來完成。訓練部份在Window + Anaconda + Nvidia GPU下進行訓練。由於訓練好的權重值為PyTorch格式，須先轉成ONNX，再轉成IR格式(XML, BIN)才能讓OpenVINO推論使用。推論部份則佈署到AAEON Xtreme i11 Edge的工業電腦，其中安裝了Ubuntu + OpenVINO及ScaledYOLOv4-csp, PyTorch, ONNX必要套件。
成果影片
初步測試結果如影片所示。
參考資料：
- 遠見35，「台灣手工具產業撐起全球維修市場」https://event.gvm.com.tw/anniversary/35/feature/handtool.html
- 許哲豪，「OpenVINO系列發文」 https://omnixri.blogspot.com/p/blog-page_19.html#OpenVINO
- WongKinYiu, Github – ScaledYOLOv4 https://github.com/WongKinYiu/ScaledYOLOv4