【AISmarter】數位孿生空間管理系統

團隊名稱：AISmarter

傳統商用倉儲空間大多仰賴進銷存系統與人工管理，效率不彰，本案建構了一套智慧空間管理系統，透過AI識別與數位孿生技術，透過AI預先判讀，減少人工資源調配與有效進行空間管理。

提案動機：

現今人們購物習慣的改變與物流產業興起的趨勢下，導致貨物進出倉儲的頻率提高，而傳統的商用倉儲空間如倉庫或冰箱，大多仰賴進銷存系統與人工管理，且容易遇到如「人力過度依賴」、「補貨思維不同造成空間利用率不一」 、 「人工巡查補貨」等問題。 在現今AI新世代下，如何透過AI預先判讀，減少人工資源調配與如何有效運用空間管理，成為我們探討的課題。

解決方案：

基於上述問題，我們建構了一套智慧空間管理系統，透過AI識別與數位孿生技術，應用在攝影機及監控畫面上，施行實時分析，透過引導擺放、貨物識別、智慧匹配及空間最佳化等技術，有效提升空間利用率與分類效率，並將監控結果與資訊呈現於虛實畫面中，提供使用者一個智慧監控場域，實現虛實數位化管理。

圖一 、解決方案架構

硬體資訊：

• Intel(R) Core(TM) i7-11370H @ 3.3GHz
• Web Camera * 2

AI套件：

• Intel® OpenVINO Toolkit

成果說明：

本團隊在這次競賽中使用搭載 11th Gen Intel® Core™ i7-11370H 3.3GHz 處理器的筆電並結合 OpenVINO™ Toolkit 進行開發，秉持模型輕量化及快速佈署的概念，我們選用 Open Model Zoo 中的三個預訓練模型 Yolox-tiny、Human-pose-estimation、Image-retrieval 作為我們的核心模型。

根據專案成果，其應用情境可分為兩部分，分別為貨物虛實空間管理及智慧補貨。

貨物虛實空間管理如圖(二)所示，包括商品的快速註冊、智慧匹配、時效檢測，我們的系統利用 yolox 模型監控貨架上的貨物，每當貨物狀態有變動時，系統會即時將變動更新至虛實GUI，達到虛擬、現實狀態同步的效果。當偵測到新貨物時，會先進行智慧匹配利用 image retrieval 模型萃取特徵並進行比對，判別此貨物是否註冊，若貨物已註冊，會在虛實GUI顯示該貨物的相關資訊，若貨物未註冊，則會啟動快速註冊功能。快速註冊功能會進行特徵增強，強化系統的辨識能力，接者將貨物特徵結合流水ID、使用者設定的貨物名稱、有效期限等資訊，傳進資料庫進行管理，並同步於虛實GUI上顯示。

圖二、貨物虛實空間管理流程

智慧補貨依使用情境不同可分為兩種模式，手持貨物識別模式及指定區域貨物識別模式，分別對應小型貨物補貨及大體積、沉重、需使用推車的貨物補貨，使用者可依需求在上述兩種模式中選擇。補貨流程由虛實GUI發起通知，系統首先利用 human pose estimation 模型持續監控畫面，當檢測到人的腳掌節點位於檢測線上時，便會觸發目標貨物選定。手持貨物識別模式中系統捕捉手掌節點、判斷離手掌最近物品為目標貨物。指定區域貨物識別模式在虛實GUI中提供自訂識別區域，系統會直接於區域內鎖定目標貨物。選定目標貨物後，會將資訊傳入空間最佳化模型，計算出推薦的最佳擺放位置，並閃爍顯示於虛實GUI畫面中，提供使用者最佳的補貨體驗。詳細流程可見圖(三)。

圖三、智慧補貨流程

Demo 影片：