【啟動AI Maker世代 】2024 MAI 開發者社群大會(5/16-17)
|

【RealSense社聚#3】3D感測產業應用解密

   

作者:王姵文

隨著2017年iPhone X的問世,使3D感測這一技術浮出檯面,讓大家看到其在智慧安全部分的可能性。但3D感測的應用不只如此,將3D攝影機放到機器的架構上就好比在機械放上人的雙眼,它不但擁有視覺的影像更能感受到空間感,很顯然地,3D感測將是推動自駕車、物聯網、AI進入下一階段的關鍵技術。

Intel RealSense的第三場交流會中,邀請到龍滕科技創辦人楊宜學 (Thomas),和歐尼克斯實境互動工作室創辦人許哲豪(Jack)來分享3D感測於實務上有哪些應用實例,讓與會開發社群更具體了解到3D感測原來可以這麼親民,和有這麼多能被應用的領域。

這場交流會帶大家更進一步認識3D感測的應用實務(攝影:歐敏銓)

3D感測取像與應用

第一位講師是龍滕科技楊宜學,他一開始先介紹自己長久以來都在做人因工程:「人因工程是研究人和機器、環境的相互作用及其合理結合,應用在產品設計上。」過去因緣際會和勞委會合作,當時要設計呼吸罩和面具,那時還是用線性測量,就想到為何不用3D感測技術來測量?

「那時還是民國90年代,這技術只有工研院在做。」他認為這個東西可以持續做一輩子,因此跳出來創業,而他看重的不只是技術本身,還有掃描到的數據可以形成有用的數據庫,如今當紅的「Big Data」(大數據)也呼應到他當時的遠見。

楊宜學為大家說明3D量測技術和數據分析的商業運用(攝影:歐敏銓)

「為什麼我們需要3D感測,是為了更高的量測準確性,以及量測上更快速和更舒適的人機介面!」楊宜學進一步提到,3-4年前時有一個特殊案例,是幫陽光基金會用3D感測量測出訂做壓力衣的尺寸,先量測完再換算成尺寸,不需要碰觸傷友脆弱的皮膚,便可減少患者因不合適的壓力衣造成的不適。

另外在國外有美容面罩是根據個人的臉部訂做,在上面塗保養品,晚上戴著睡覺可以保養皮膚;同樣的燒燙傷患者也需要面罩,量測完臉部資料後再去翻模,可以用石膏做出精確尺寸的人臉模型。他說:「在還沒有這樣的技術前,陽光基金會是用人臉去上石膏做出模型,但容易造成尺寸不對又費時;相較下3D感測的量測非常迅速。」

楊宜學提到過去龍滕科技致力於3D掃描設備、3D分析和建立數據庫,以及3D的應用領域,3D掃描設備用結構光掃描,可以準確掃描頭、臉、手、腳和身體,進而做出立體模型,但因整體設備昂貴,在台灣的需求市場非常有限。要擴展應用市場必須把成本降低,而Intel RealSense的優點是低成本、輕巧和整合較容易,但RealSense的每款裝置在量測距離上都不一樣,使用時要特別注意。

「事實上,3D感測的量測技術可以商用的範圍很廣。」楊宜學提到他們實際商用的四個範例:第一個是幫女孩子自動化妝的機器;第二個是台灣華歌爾50周年時所開發了3D自動AI量測系統,女生只要穿上量測服進到機器裡,就可以快速量測出三圍和體型,進而可推薦適合穿哪一款內衣;第三個是軍服訂製量測,可以做出適合每個軍人身材的軍服。

第四個是在醫療上的應用,又分為傷口護理和面部模擬,其中傷口護理是病患用機器拍傷口的畫面再傳給醫生,醫生看傷口的3D照片就能判斷復原狀況和如何用藥;面部模擬是用在整形美容上,他說:「顧客都希望在手術前可以看到術後的模樣,使用面部模擬可以讓顧客更清楚看到整形手術後的效果。」

智能機器手臂之3D感測視覺系統

第二位講師是尼克斯實境互動工作室的許哲豪,他一開始先介紹自己從唸書到工作,投入在3D感測的技術領域已相當長的時間,也看到技術的演進與應用的落地。這次的分享是從開源社群的採果機器人角度切入,談談如何為機器手臂加入3D感測視覺系統。

許哲豪為大家說明如何建置智能機器手臂之3D感測視覺系統(攝影:歐敏銓)

「RealSense這樣的3D攝影工具,可以結合機器手臂來實做出智能機器手臂之3D視覺系統,只要方法對了,其實可以蠻快建置出應用上的原型。」許哲豪指出有兩種建置方式,第一種是固定式的RealSense,先偵測完之後,再用機械手臂去拿取物件擺放到正確的位置;第二種是把RealSense裝在機械手臂上,可以更近距離看到物件,在操作時會邊偵測邊做,好處是可以不斷思考下一個動作要如何抓取最近的物件。

以採果機器人為例,要抓取的水果大小不同,從小的草莓到大一點的蘋果、柳丁,抓取的方式和使用的攝影機技術都不同。他用圖剖析智能機器手臂視覺系統開發的流程:從硬體選用、影像擷取、建立資料集、訓練調參、分析物件深度、驅動機器手臂。

以偵測小蕃茄為例,運用3D攝影機及各式開源資料(OpenVINO, OpenCV, YOLOv3),偵測流程為取像、標註、訓練、推論,從實驗結果上可得出改善正確率方式,像是增加訓練樣本數量及多樣性、提供更完整標註資訊、仔細調整訓練超參數。

在應用上要注意的事項,像是視野及尺度略有不同需進行微調,或是深度影像邊緣破碎,陰影、吸光、 反光區無法得到深度資訊,以及物件深度計算依需求和深度偵測穩定度影響因素等。

小結

3D 感測的應用範圍非常廣,結合 AI 影像辨識又能夠突破許多目前的技術限制,從3D量測的多種應用,到結合機器手臂能做出之3D感測的視覺系統,都在應用上更貼近一般人的生活中,也使更多人都因為這些技術而受惠,未來隨著技術不斷提升,相信會有更多實際的應用出現。

(責任編輯:歐敏銓)

王姵文
王姵文

Author: 王姵文

從滿腦子都是韓劇和KPOP的愛追劇迷妹,意外踏入Maker圈,期許有一天這方面的知識量也能如數家珍。

Share This Post On
468 ad

Submit a Comment

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *