如何避免手術器材殘留在患者體內？創客自製手術清單物件偵測器！

Posted By MakerPRO編輯部 on 2 月 22, 2024 in AI關鍵技術, Edge AI, Edge AI應用案例, Edge Impulse, TinyML, 案例研究 | 0 comments

文章導覽

手術後忘在患者體內的手術器械、沾血海綿或其他物體都稱作「術後體內殘留物」。儘管傳統上醫院都有嚴謹的規範與檢核步驟，還是時有所聞，對於患者的健康和安全構成嚴重風險。

手術器材常常因為疏忽殘留在病患體內(Source)

有幾個因素導致手術殘留物的發生：一是在手術期間，經常是緊急與繁忙的氣氛，並會使用大量儀器與器材，相關醫療劇或動畫顯示出來的狀況可能很誇張，但是與現狀差異可能不是很大。狀況緊急、分秒必爭和分心處理突發狀況可能會導致疏忽，使團隊在忙亂中將物品遺忘在患者體內；二是複雜的手術或急診室情境中，穩定維持手術器械和物品的準確計數會頗具挑戰性，也因此增加了將物品忘記在患者體內的機會。

穿戴式手術器具偵測器成品外觀(Source)

傳統上，醫院設計了很多做法防止手術殘留物發生，最基本的措施是在術前、術中和術後由專人實施標準化清點程序，由手術團隊仔細清點並記錄所有使用的儀器和物品，並與當天手術清單進行交叉驗證。有部分手術器械上還導入了無線射頻(RFID)識別技術和條碼系統，以增強追蹤並最大限度地減少人為錯誤的機會。

不幸的是，錯誤仍然會發生，而且可能帶來高昂代價——手術殘留物引起的併發症可能嚴重到危及患者生命，讓患者出現局部疼痛、感染，在某些情況下還會出現周圍器官或組織的損傷。異物可能導致膿瘍形成或全身性感染的發生，在極端情況下，需要額外的手術來移除手術殘留物，但短時間二次開刀將會帶來進一步的感染風險和併發症。

建構智慧解決方案

為了避免人為錯誤，有位開發者 – Eivind Holt打造了一種自動化系統，可以客觀地評估手術結束時是否器具都已經收齊。該系統在緊急情況下不會讓醫護人員感受到壓力，也不會因手頭上的任務而分心，使其成為理想解決方案。其最初原型已製作成穿戴式設備，可以識別各種手術器械，以便醫療專業人員隨後可以確保它們都被記錄下來。

建置這樣的設備有很多因素要考慮。為了實用，穿戴式設備必須體積小並且能夠依靠電池長時間運作。設計一種可以在如此小的硬體平台上高效運作的物件偵測演算法也存在許多問題，因為與電腦視覺相關的工作通常也非常消耗資源。此外，對於一般人來說，收集數量、類型足夠多的手術器械影像來訓練目標偵測模型是相當困難的事。

用於訓練辨識模型的手術器具(Source)

選擇硬體

Holt選擇了一套適合的工具來解決這些問題：在硬體方面是Arduino Nicla Vision，這款開發板面積尺寸僅22.86 毫米(mm)見方，可以輕鬆夾在衣物上。憑藉其內建影像感測器和具有1 MB RAM的Arm Cortex M7處理器，它能夠執行一些相當複雜的演算法。藉著物件偵測演算法可以輕鬆發揮該裝置的功能，因此Holt利用Edge Impulse的FOMO物件偵測演算法使開發和部署流程變得簡單，而且還最佳化了Nicla Vision硬體的訓練模型。

基本計畫確定後，Holt準備了一些基本手術器材如手術刀和鑷子，然後用Nicla Vision拍攝了一組約600張影像。但將這些圖片上傳到Edge Impulse 以訓練物件偵測模型時很快就發現問題：物體偵測準確率太低，模型沒有任何用處。後來檢查原因，Holt確定問題出在器材的反光上，所有反光都會影響模型偵測到的物體的特徵，而大部分手術器械為了易於消毒與清潔都具有反光鍍鉻表面。

使用Nvidia的Omniverse Replicator 生成的合成影像(Source)

需要更多數據

收集更大、更多樣化的資料集可能解決這個問題，但這非常具有挑戰性──外科手術問世多年，已產生多種功能類似卻外型差異頗大的手術器械。因此Holt提出利用Nvidia的Omniverse Replicator 快速產生大型、多樣化的資料集來進一步完善訓練模型的想法。使用此工具，可以將各種手術器械的3D模型匯入到場景中，然後移動、調整角度、照明和其他因素，以產生可在模型訓練中使用的合成影像。這樣就產生了超過3萬張訓練影像。

Omniverse Replicator生成的合成影像(Source)

將這組新資料上傳到Edge Impulse後，Holt開始了另一輪模型訓練。結果比之前順利得多。平均目標辨識準確率已攀升至 85.5%，足以證明這個概念。這是一個重要的提醒：說明良好的訓練資料是多麼重要——如果沒有Omniverse Replicator，這個「防止手術殘留物」的專案可能會因為太不切實際而被放棄。

修正訓練模型的圖片後，訓練成果令人滿意(Source)

最後此物件偵測工作流程從Edge Impulse部署到實體設備，也完成了這個專案。值得注意的是，該模型可以部署為相容Arduino的程式庫，以實現在硬體上執行的應用程式完全客製化。透過這種方式，物件偵測器能與手機或平板電腦的應用程式無線連結(例如透過低功耗藍牙)，以提供手術期間使用的手術器械相關資訊。最後Holt還以3D列印機列印了適合Nicla Vision開發板的小型外殼，以及可夾在衣物上的輕量鋰聚合物電池。