參賽團隊名稱:Mirror Mirror
作品簡述
「智能售後服務」的聊天機器人(ChatBot),基於自然語言處理,根據客戶所描述的問題,進行語意分析,回覆所需的維修指引,並搭配擴增實境(AR)提供客戶更直覺的指引。
提案動機
- 傳統的工具機設備維修故障確診耗時長、效率低,極大的影響企業生產。
- 工具機的客戶遍佈全球,假日和不同時區造成客戶無法即時取得維修服務,傳統的圖文說明無法有效指引客戶排除障礙。
解決方案
在開發過程中所用軟硬體如下:
硬體:
- CPU:11800H
- GPU:3080 Laptop
軟體開發工具:
- Kotlin + Visual studio (C#) +Python + OpenVINO
- 擴增實境(AR) 工具: Google ARCore
- Machine Learning: Tensorflow +Keras +BERT
雲端平台:Azure
系統架構圖:
運作說明:
- 使用者透過手機的聊天機器人APP,由AP Server與機器人前台進行溝通
- AP Server將收到的使用者輸入語句送往Model server進行語意分析
- Model server將使用者語句轉為意圖
- AP server 的Bot web AP根據Model server回覆的意圖去維修KM DB尋找對應的維修指引
- AP server 的Bot web AP將指引回傳給機器人前台,機器人前台根據指引將APP裡的對應AR指引顯示給使用者觀看,來指引使用者維修
模型轉換說明:
展示影片
目標市場
成果介紹
在訓練過程建立了30組意圖,測試組問句200句測試,意圖涵蓋率100%,回覆準確度約90%,與未轉成openVino的Tensorflow模型準確度相當,但轉為openVino模型後可以組合多種硬體加速器(Movidus、FPGA)的優勢,而且Intel的CPU也可加入推論,在硬體上獲得的效益顯而易見,OpenVINO確實是一項不錯的方案。
參考資料:
- Intel OpenVINO介紹與安裝教學
- Install Intel® Distribution of OpenVINO™ toolkit for Linux* – OpenVINO™ Toolkit (openvinotoolkit.org)
- OpneVIno API
- open_model_zoo/demos at master · openvinotoolkit/open_model_zoo · GitHub
- GitHub – AdrianHsu/tensorflow-chatbot-chinese: 網頁聊天機器人
- Classify text with BERT | Text | TensorFlow
- 已解決:New 3D human pose estimation demo – Intel Community
- OpenVINO™ Model Server
- 教學課程:使用即時影片分析搭配 OpenVINO™模型伺服器來分析即時影片-來自 Intel 的 AI 擴充功能