實作組智慧製造

參賽團隊名稱: 歐尼克斯實境互動工作室

提案動機

台灣為全球手工具第三大出口國,2020年產值1,225億,出口值1,104億。相關產業約有2000多家廠商,包括模具、熱處理、鍛造、組裝等,為國內最重要的金屬產業之一。而其中又有超過七成業者集中在中彰投地區,是全球唯一最完整聚落,堪稱世界級「隱形冠軍」。盒式手工具組在北美及歐洲等喜歡自己動手作(DIY)的市場非常受歡迎,也是台灣手工具業的主力產品。由於內容物非常多樣式、大小不一、數量從十數件到一百多件都有,為使零件牢固卡在盒中,所以通常需要作業員以人工方式用力塞進指定位置,又不能傷及塑膠盒外觀。流水線上有很多位作業員,每一人負責擺放數件,在末端再由人工目視檢查是否缺件,沒問題就可加上外包裝出貨。

如前述作業模式,在流水線末端由於僅靠作業員以目檢方式確認缺件,有時還是會因視覺疲勞或稍微愰神而漏檢,導致出貨缺件,造成後續客訴、退貨等影響商譽問題產生。業界缺件率水準約1~3%。因此有些廠商導入傳統「機器視覺」進行檢測,但因金屬表面很容易反光(鏡面)或吸光(全黑霧面)導致誤判率很高。所以這項問題很適合以「人工智慧(深度學習)」模型來協助辨識降低缺件率。

解決方案

  • 硬體:
    1. 研揚(AAEON) UP Xtreme i11 EDGE (i11 i5-1145GRE 8GBx2 256GB)
    2. 羅技(Logitech) C920r HD Pro 高解析度視訊攝影機。
    3. 華碩(ASUS) MB169B+ IPS 15.6吋超薄USB供電外接式顯示器。
    4. 自製視覺檢測箱(模擬生產線移動待檢工作盒)
  • 軟體:
    1. Ubuntu 20.04 LTS (AAEON UPX i11 Edge使用)
    2. Intel OpenVINO 2021.04 LTS (模型轉換及推論加速用)
    3. Anaconda (Python程式開發及PyTorch模型訓練用)
    4. QT + Creator (人機介面及工具程式開發)
    5. ScaledYOLOv4-csp開源模型 (PyTorch版本)

本系統模擬生產線由輸送帶(綠色底板)運送工具盒並檢測是否有缺件。

工具盒有六種物件,分別為:T0 蓋板, T1 螺絲頭(可左右擺放), T2 套筒, T3 螺絲起子, T4 手把, T5 延伸桿。

成果介紹

檢測時利用高解析度(1280*720)網路攝影機做為取像設備,模擬六種滿料及部份缺料情境及各三種角度(平行、上傾及下傾)由左至右行進,共取得18組影片段。再利用自己開發的影片自動間隔取出影像的工具取得訓練及測試集,去除重覆(不動)的影像後,共得394張影像,其中60%作為訓練集、20%作為驗證集及20%的測試集。

使用用較新的ScaledYOLOv4-csp開源物件偵測模型(PyTorch格式)來完成。訓練部份在Window + Anaconda + Nvidia GPU下進行訓練。由於訓練好的權重值為PyTorch格式,須先轉成ONNX,再轉成IR格式(XML, BIN)才能讓OpenVINO推論使用。推論部份則佈署到AAEON Xtreme i11 Edge的工業電腦,其中安裝了Ubuntu + OpenVINO及ScaledYOLOv4-csp, PyTorch, ONNX必要套件。

成果影片

初步測試結果如影片所示。

參考資料:

  1. 遠見35,「台灣手工具產業撐起全球維修市場」https://event.gvm.com.tw/anniversary/35/feature/handtool.html
  2. 許哲豪,「OpenVINO系列發文」 https://omnixri.blogspot.com/p/blog-page_19.html#OpenVINO
  3. WongKinYiu, Github – ScaledYOLOv4 https://github.com/WongKinYiu/ScaledYOLOv4

發佈留言

Your email address will not be published. Required fields are marked *

Post comment