參賽團隊名稱:Hearing Edge
本提案希望以 Edge AI 融合深度 3D 人體重建進行助聽器選配,打破助聽器產業因人、時、地所受到之限制。用戶僅需提供一張全身照,助聽選配即可考量其耳朵與身體的聲學參數進行選配,且今年度非處方(OTC)助聽器法案通過, OTC 所面臨的狀況為銷售未考量到個體差異而滿意度不佳,此提案有助於提升 OTC 個人化選配建議。
提案動機
本提案希望以 Edge AI 融合深度 3D 人體重建進行助聽器選配,打破助聽器產業因人、時、地所受到之限制。用戶僅需提供一張全身照,助聽選配即可考量其耳朵與身體的聲學參數進行選配,且今年度非處方(OTC)助聽器法案通過, OTC 所面臨的狀況為銷售未考量到個體差異而滿意度不佳,此提案有助於提升 OTC 個人化選配建議,本提案也示範數位醫療與醫療替身的技術願景。
使用之軟硬體
本專案期望藉由人體建模提供個人化助聽器驗配,除了以用戶身體外型推論其 HRTF(頭部相關傳輸函數) 與實耳測量對聲學增益的影響外,更提供非處方助聽器個人化選配之解決方案:
- 硬體: Intel Nuc i7-1165G7、攝影裝置
- 軟體:Intel OpenVINO Toolkit (2022)、 Intel DevCloud
- 成果平台:Gradio
成果介紹
本提案欲將 2D 的人體影像建成 3D 的人體模型,並基於更多的特徵來估測實耳測量參數,達到輔助助聽器選配,本提案包含以下兩個模組:
- 3D Human Reconstruction : 從單一 RGB 影像建構出三維人體模型
- Face(Head)Refine : 針對頭部進行細節恢復
- 模型輸入 : 個案之全身 RGB 影像一張
- 模型輸出 : 3D 人體模型、實耳測量(REM)相關參數
- 個案僅輸入 RGB 影像,即可透過本提案來重建出 3D 人體模型,並估測出實耳測量(REM)所需之相關參數,供後續助聽器選配與調整。
- 將 PIFu 模組及 Refine 模組使用預訓練模型進行 Finetune 訓練(Pytorch),Fixed 住 Weights 後,經過 OpenVINO Toolkit 轉換成模型中間檔 (IR),基於 OpenVINO Inference Engine 推論。
- 本專預預計使用 DevCloud 進行開發與驗證,最後使用含有 Intel 11th Core 處理器的 Intel NUC 小巧電腦作為邊緣運算裝置。
- 使用 Benchmark App 對轉換後的模型進行效益驗證、評測。
- 本提案使用 Gradio 來展示成果,僅輸入個案之全身照及基本資料,即可透過本平台來三維重建輔助助聽器選配
- 本提案特別針對 2 顆優化後的模型元件 (HGFilter、SurfaceClassifier)進行 Benchmark 評測,並於 i7-9700 (PC)、Intel i7-1165G7 (Nuc)、Nvidia RTX 2080S 上進行比較 :
- 數據顯示,經過 OpenVINO 優化後提升 4 倍多的效能