參賽團隊名稱：Hearing Edge
本提案希望以 Edge AI 融合深度 3D 人體重建進行助聽器選配，打破助聽器產業因人、時、地所受到之限制。用戶僅需提供一張全身照，助聽選配即可考量其耳朵與身體的聲學參數進行選配，且今年度非處方（OTC）助聽器法案通過， OTC 所面臨的狀況為銷售未考量到個體差異而滿意度不佳，此提案有助於提升 OTC 個人化選配建議。
提案動機
本提案希望以 Edge AI 融合深度 3D 人體重建進行助聽器選配，打破助聽器產業因人、時、地所受到之限制。用戶僅需提供一張全身照，助聽選配即可考量其耳朵與身體的聲學參數進行選配，且今年度非處方（OTC）助聽器法案通過， OTC 所面臨的狀況為銷售未考量到個體差異而滿意度不佳，此提案有助於提升 OTC 個人化選配建議，本提案也示範數位醫療與醫療替身的技術願景。
使用之軟硬體
本專案期望藉由人體建模提供個人化助聽器驗配，除了以用戶身體外型推論其 HRTF（頭部相關傳輸函數） 與實耳測量對聲學增益的影響外，更提供非處方助聽器個人化選配之解決方案：
- 硬體： Intel Nuc i7-1165G7、攝影裝置
- 軟體：Intel OpenVINO Toolkit （2022）、 Intel DevCloud
- 成果平台：Gradio
成果介紹
本提案欲將 2D 的人體影像建成 3D 的人體模型，並基於更多的特徵來估測實耳測量參數，達到輔助助聽器選配，本提案包含以下兩個模組：
- 3D Human Reconstruction : 從單一 RGB 影像建構出三維人體模型
- Face（Head）Refine : 針對頭部進行細節恢復
- 模型輸入 : 個案之全身 RGB 影像一張
- 模型輸出 : 3D 人體模型、實耳測量（REM）相關參數
- 個案僅輸入 RGB 影像，即可透過本提案來重建出 3D 人體模型，並估測出實耳測量（REM）所需之相關參數，供後續助聽器選配與調整。
- 將 PIFu 模組及 Refine 模組使用預訓練模型進行 Finetune 訓練（Pytorch），Fixed 住 Weights 後，經過 OpenVINO Toolkit 轉換成模型中間檔 （IR），基於 OpenVINO Inference Engine 推論。
- 本專預預計使用 DevCloud 進行開發與驗證，最後使用含有 Intel 11th Core 處理器的 Intel NUC 小巧電腦作為邊緣運算裝置。
- 使用 Benchmark App 對轉換後的模型進行效益驗證、評測。
- 本提案使用 Gradio 來展示成果，僅輸入個案之全身照及基本資料，即可透過本平台來三維重建輔助助聽器選配
- 本提案特別針對 2 顆優化後的模型元件 （HGFilter、SurfaceClassifier）進行 Benchmark 評測，並於 i7-9700 （PC）、Intel i7-1165G7 （Nuc）、Nvidia RTX 2080S 上進行比較 :
- 數據顯示，經過 OpenVINO 優化後提升 4 倍多的效能
