在AI科技發展與健康意識提升的今日，市場上湧現各種創新AI醫療設備，創客團體Team Coders Café的兩位創客Shebin Jose Jacob與Nekhil也合作打造了一款結合樹莓派(Raspberry Pi)單板電腦與手機APP的AI聽診器，這款設備利用尖端的機器學習演算法，能在家中方便地提供即時健康評估，可望為居家醫療保健帶來改變。
AI聽診器與搭配的手機APP(Source : hackster.io)
兩位創客準備的材料如下:
Raspberry Pi Zero 2W 開發板× 1
Raspberry Pi 5 (SBC)× 1
傳統聽診器 × 1
Boya全向麥克風× 1
鋰電池× 1
DC-DC充放電一體模組× 1
USB音效卡× 1
MICRO USB轉Dip 母座B型邁克5p貼片轉直插轉接板已焊接母頭(Micro USB Type B Mike Patch Straight Plug Adapter Plate Welding Head Breakout Board)× 1
軟體應用程式和線上服務
其他工具與設備
烙鐵（通用）
3D列印機（通用）
AI聽診器硬體組成
傳統聽診器由聽胸器、軟管與聽筒組成，需要依賴醫生的專業技能做判斷，AI聽診器則利用機器學習演算法來分析心臟的聲音，能夠即時提供健康評估，使個人能夠在家中自主監控健康狀況，及早發現潛在健康問題，促進人們馬上因應。
傳統聽診器(Source : hackster.io)
兩位創客首先將AI聽診器的基本硬體套件先連接起來，如以下圖片：
Boya BY-M1全向麥克風：用於聽診器與Raspberry Pi 5的連接。(Source : hackster.io)
USB音效卡：Raspberry Pi 5沒有內建音訊輸入，因此需要使用外部音效卡來捕捉和輸出音訊。(Source : hackster.io)
Raspberry Pi 5 單板電腦 (Source : hackster.io)
硬體測試，確保聲音正確傳播不會失真地到達機器學習網路。(Source : hackster.io)
原本的半成品好用但是體積很大，為了使AI聽診器更方便攜帶，兩位創客選擇使用性能與Raspberry Pi5同等級的更小的開發板—Raspberry Pi Zero 2W。將所有內容從Raspberry Pi 5移植到Raspberry Pi Zero 2W後，加上鋰電池與DC-DC充放電模組確保穩定的電源供應，並提供充電和放電功能。進一步進行硬體測試，確保聲音訊號正確傳播且不失真地到達機器學習網路。
Raspberry Pi Zero 2W (Source : hackster.io)
鋰充電電池 (Source : hackster.io)
DC-DC充放電一體模組 (Source : hackster.io)
兩位創客使用Fusion 360軟體特別設計了聽診器外殼，並進行3D列印。完成外殼後，將相關零件組裝在一起，並進行測試，確保聲音傳輸的準確性和穩定性。
將零組件裝進3D列印的外殼 (Source : hackster.io)
AI聽診器完成圖 (Source : hackster.io)
機器學習模型訓練
硬體組裝完成，接下來的模型訓練也是重點之一。透過機器學習模型對心臟音訊進行分析以檢測可能的心臟疾病。這一過程包括資料收集、資料預處理、模型訓練及測試，具體步驟如下：
- 資料收集
從開放平台獲取心音數據資料，包括正常心音和患有不同心臟疾病的心音資料集。將資料集作為機器學習模型的訓練資料，進行分類與資料識別。
- 資料預處理
使用YAMNet模型作為基礎，對資料進行重新取樣和處理。YAMNet是Google開發的深度學習模型，主要用於聲音偵測。接受包含任意長度波形的一維float32張量或NumPy數組，表示為[-1.0, +1.0]範圍內的單聲道16 kHz樣本。這個專案資料集取樣率為8kHz，因此需要對音訊文件進行重新取樣和預處理。
- 遷移學習模型
遷移學習是一種機器學習技術，其中針對一項任務訓練的模型被重新調整用途或適應不同但相關的任務。採用預訓練的YAMNet模型，透過遷移學習來微調模型，使其適應心音分析任務，從而顯著減少訓練所需的標記資料量，並提高模型在目標任務上的表現。
- 模型訓練
兩位創客在Google Colab上使用TensorFlow進行模型訓練，Jupyter Notebook 中有詳細說明。訓練過程中，模型從音訊資料中提取特徵，學習心音與各種心臟病之間的關聯。經過多次迭代訓練後，模型達到了94%的訓練準確率和93%的測試準確率。
- 模型測試
在訓練機器學習模型後，兩位創客對其進行了測試以評估其性能。結果顯示模型在訓練資料和未見過的資料上都始終表現良好，證明了其在現實場景中有效泛化和做出準確預測的能力。
- 模型部署
訓練完成後的模型被部署在VIAM平台上，使用TensorFlow SavedModel格式進行儲存和載入。VIAM的靈活性使得從簡單設備到複雜機器人的建置變得更為簡單高效。
註冊VIAM，開始使用VIAM網站服務 (Source : hackster.io)
- TensorFlow模型轉換成TensorFlowLite
因為要將資料從Raspberry Pi 5換到較小的Raspberry Pi Zero 2W，兩位創客將TensorFlow模型轉換成TensorFlowLite模型，再回到VIAM設定改成TFLITE-CPU，以及指定路徑。
TensorFlow模型轉換成TensorFlowLite模型 (Source : hackster.io)
回到網站的Viam builder 選項， tensorflow-cpu 服務變更為 TFLite-CPU 服務，並提供TFLite 模型路徑。(Source : hackster.io)
兩位創客並為AI聽診器設計了一款配套的手機APP，使用MQTT在設備和應用程式之間進行通訊，提供分析模式和串流模式兩種功能，分析模式是透過AI分析聽到的心跳聲，而串流模式則是將錄製到心跳聲跟分析結果傳輸給醫生做診斷。
未來發展
開發AI聽診器專案的兩位創客未來將朝以下幾個方向繼續發展：第1是不斷改善AI演算法以提高檢測準確性和效率；第2是與雲端服務整合，實現資料儲存、分析和遠端監控，增強與醫療專業人員的協作；第3是擴展感測器功能，導入更多樣化的感測器以提供更全面的健康監測；第4是無線連結，使用藍牙或Wi-Fi以方便資料傳輸和遠端操作；第5是開發更友善的介面，提升使用者體驗；第6是客製化與個人化，根據使用者需求提供個性化的健康監測方案；第7是降低成本與可擴展性，探索更具成本效益的製造方法，提高商業化生產的可行性。
參考原文連結: AI Stethoscope With VIAM-Your personal doctor at your fingertips!
- 想加速RAG開發？你需認識LLamaIndex框架 - 2024/11/21
- AI+無人機守護海域遊憩安全 台南市發表「智慧海灘」成果 - 2024/11/14
- 【多模態時代】LLaVA模型的重要性 - 2024/11/11
.jpg)
.jpg)