【Mirror Mirror】智能售後服務的聊天機器人

參賽團隊名稱：Mirror Mirror

作品簡述

「智能售後服務」的聊天機器人(ChatBot)，基於自然語言處理，根據客戶所描述的問題，進行語意分析，回覆所需的維修指引，並搭配擴增實境(AR)提供客戶更直覺的指引。

提案動機

• 傳統的工具機設備維修故障確診耗時長、效率低，極大的影響企業生產。
• 工具機的客戶遍佈全球，假日和不同時區造成客戶無法即時取得維修服務，傳統的圖文說明無法有效指引客戶排除障礙。

解決方案

在開發過程中所用軟硬體如下：

硬體:

• CPU:11800H
• GPU:3080 Laptop

軟體開發工具:

• Kotlin + Visual studio (C#) +Python + OpenVINO
• 擴增實境(AR) 工具: Google ARCore
• Machine Learning: Tensorflow +Keras +BERT

雲端平台：Ａｚｕｒｅ

系統架構圖：

運作說明：

1. 使用者透過手機的聊天機器人APP，由AP Server與機器人前台進行溝通
2. AP Server將收到的使用者輸入語句送往Model server進行語意分析
3. Model server將使用者語句轉為意圖
4. AP server 的Bot web AP根據Model server回覆的意圖去維修KM DB尋找對應的維修指引
5. AP server 的Bot web AP將指引回傳給機器人前台，機器人前台根據指引將APP裡的對應AR指引顯示給使用者觀看，來指引使用者維修

模型轉換說明：

展示影片

 

目標市場

成果介紹

在訓練過程建立了30組意圖，測試組問句200句測試，意圖涵蓋率100%，回覆準確度約90%，與未轉成openVino的Tensorflow模型準確度相當，但轉為openVino模型後可以組合多種硬體加速器(Movidus、FPGA)的優勢，而且Intel的CPU也可加入推論，在硬體上獲得的效益顯而易見，OpenVINO確實是一項不錯的方案。

參考資料：

• Intel OpenVINO介紹與安裝教學
• Install Intel® Distribution of OpenVINO™ toolkit for Linux* – OpenVINO™ Toolkit (openvinotoolkit.org)
• OpneVIno API
• open_model_zoo/demos at master · openvinotoolkit/open_model_zoo · GitHub
• GitHub – AdrianHsu/tensorflow-chatbot-chinese: 網頁聊天機器人
• Classify text with BERT  |  Text  |  TensorFlow
• 已解決：New 3D human pose estimation demo – Intel Community
• OpenVINO™ Model Server
• 教學課程：使用即時影片分析搭配 OpenVINO™模型伺服器來分析即時影片-來自 Intel 的 AI 擴充功能