作者：許哲豪Jack
日前(2019/12/03)很高興參加由文化部主辦的「創IP秀4D」國際論壇暨成果發表會。此次活動最主要就是展現今年度文化部「IP內容實驗室」[1]重金由法國引進的「4DViews」系統如何協助台灣多個文創領域產生新的火花。由於之前我在學校求學時就是以多視點取像、顯示及實境互動為主，但台灣卻只有很少人了解這些技術，所以此次看到台灣有這麼多不同領域相關成果產出，實在有點小激動。
圖1 (a)傳統3D動畫製作流程，(b)肢體及臉部動作補捉系統，(c)4D(容積式)補捉系統。(OmniXRI整理製作)
以往在製作3D動畫時要從建模、貼圖、打光、綁定骨架、動作調整及運鏡處理才能完成，如圖1(a)所示。一個學生從學習基本功到能獨立完成作品少說要三到六個月才能上手，若要到職業等級沒有練個幾年根本不可能。後來有了動作補捉(Motion Capture，簡稱動補)設備就方便多了，只要專心做模型及貼圖即可，動作部份就叫真人直接穿專門的動補服裝(光球式、運動感測器式等)直接錄製動作再套到模式即可完成，如圖1(b)所示。
更進階的亦可利用類似技術(光點、光影等)直接把人臉表情直接錄下，對於3D動畫製作的速度、複雜度及擬真度有明顯提升功能。近來來隨著電腦運算速度大幅提升及AI技術突飛猛進，像目前最火紅的VTuber(如絆愛、虎妮等)都已可做到即時動補(含人臉表情)。但只用3D模型加上動補製作的動畫還是不容易記錄人物在真實世界的細節，如服飾配件及道具的物理碰撞、人臉表情(尤其眼神)及3D模型的擬真度。
以往要解決高擬真3D模型建置可採用3D掃描(線雷射加攝像機、光達雷射點雲、深度攝影機等)方式建模，但只限於靜態物件。因此4D(3D立體加時間)或稱容積式(Volumetric)掃描方式就成為解決此項問題的最佳方案。該技術主要是利用多攝影機360度環繞在被拍攝物體四週，同時包含由上至下視角，經同步錄影後，再以電腦視覺中多視點三維重建(Multiview 3D Reconstruction)技術逐幀(Frame)將3D模型建立，當每一幀3D模型都建構好，連續播放就成為動態3D模型，或可稱為4D掃描。
當然這樣的技術門檻相當高，且需耗費的電腦算力也不容小覷，根據官方說法，此次專案拍攝一分鐘影片(32台攝影機）利用國網算圖農場(不清楚使用設備等級及數量)轉成連續3D動作模型需要八小時。因此目前全世界僅有少數公司投入此一研究，此次法國的「4DViews」[2]就是其中之一。
反觀台灣，學界部份僅有少數學校實驗室投入相關研究但規模都不大。而法人部份，工研院、資策會似乎對此類系統也沒有太多投入，或許工研院藉由此次協助引進後會更進一步投入技術研發協助更多台灣廠商吧？
為了讓大家更能了解文化部此次投入的成果，可藉由下列影片窺知一二。
本次活動共邀請了四位日本講者，分享使用4DViews在不同領域應用經驗，包括4D Brain Inc.[3] 秋山貴彥社長、NTT Docomo Inc. 望月謙課長、Connection Inc.[4] 田向潤導演及知名動補裝置供應商新月(Crescent Inc.[5])小谷創社長。透過這樣的技術可輕易實現虛實整合的應用，除了常見的影視作品外，近年來亦朝向文化保存及新舊融合創新應用。以下就以日本知名卡莉怪妞(Kyary Pamyu Pamyu)2011年推出的MV影片PONPONPON為例，從影片中可看到同一人物經由4D掃描後可輕易的大量複製、重新安排視角、改變尺度，產生非常搞怪有趣的風格，完全看不出3D建模的感覺。
本次計畫包括三大領域，影像敘事虛實整合展演、ACG動漫遊內容跨界產製及傳統藝IP新生轉型解析等三大領域，共錄取16組團隊，如下所示。
主題一：影像敘事虛實整合展演
- 仙草影像製作有限公司 吳青峰《太空人》音樂錄影帶
- 必應創造股份有限公司 《末世重生》
- 財團法人白鷺鷥文教基金會 XR新媒體藝術作品《迷》
- 許哲瑜藝術工作室 動物之血
- 福利事國際有限公司 3D虛擬IP音樂影像實驗創作
- 實踐大學 作品名稱/與水合奏的孩子們
主題二：ACG動漫遊內容跨界產製
- 未來式互動藝術有限公司 劍魂如初《傳承之書》
- 原金國際有限公司 「百年蜃樓尋妖記」- 動態立體虛擬實境實驗創作計畫
- 銘傳大學數位媒體設計學系 作品名稱/清明上河圖虛擬實境
- 夢想動畫有限公司 作品名稱/《1661國姓來襲》漫畫跨域XR作品
主題三：傳統藝術IP新生轉型解析
- 中國文化大學大眾傳播學系 【藝境無界】Performing Arts Insight without Boundary
- 國立臺北科技大學 墨動影
- 彩蛋影像有限公司 原創VR電影整合AR秀4D行銷計畫 -「神靈活現AR體驗」APP
- 超維度互動股份有限公司 南管 · 四季-當代南管再設計
- 愛迪斯科技股份有限公司 4DViews 數位典藏立體顯示互動平台 – 以歌仔戲橋段為範例
- 臺灣虛實展演發展協會 現代水墨之父- 劉國松 半自動潑墨技法全紀錄
接下來從網路上收集一些相關影片提供給大家參考：
看了以上這麼多精采作品後，大家一定很想知道未來是否很快就能普及，相關技術是否都已成熟。透過下午三個主題各團隊的經驗分享後初步得到一些輪廓，接下來就幫大家快速整理一下。
- 目前這是一項很棒且加速3D創作的工具，對於主體物件的細部擬真度及動作重現度極高，是傳統3D動畫及動補所無法提供的效果。
- 錄製及後製算圖成本極高，若非有充足預算或補助下根本用不起。
- 拍攝空間有限(長寬3米，高2.7米)，所以遇到人物移動(如行走)時要考慮如何產生環循(如原地踏步或走一小段循環)方便後製。
- 拍攝前需經過很嚴謹的規畫，包括衣物(不能綠色、反光、太多流蘇之類過細材質等)、道具、操作遮擋等，主要考慮後製和其它3D內容合成問題。
- 影像解析度不高，所以中距離視覺品質尚可，但近距離觀賞時則會出現模糊或影像抖動等問題。
- 取得的4D模型和其它3D繪圖軟體整合度有待加強。
- 部份動作拍攝影無法加上光學動補，因為身上加反光球要後製去除太過麻煩，因此需研發其它配套方案，以利後續整合其它3D模型互動動作。
- 補捉完成的動作是無法編輯的，不像傳統骨架綁定後可對模型進行調整，此部份有待廠商繼續研發改善。
- 目前國內有少數自行研發技術，但仍不普及，需要政府更多資金挹注。
小結
參考文獻
[2] 4DViews Inc. https://www.4dviews.com
[3] 4D Brain Inc. http://www.4dbrain.com/en/
[4] Connection Inc. http://cnct.work/
[5] Crescent Inc. https://www.crescentinc.co.jp/
[6] 創IP秀4D活動手冊 https://drive.google.com/file/d/1QA-AwBmlLgkXJdZ3uS5L4KhgBuj4bRPA/view
主持歐尼克斯實境互動工作室(OmniXRI)：http://omnixri.blogspot.com
Edge AI Taiwan邊緣智能交流區：https://www.facebook.com/groups/edgeaitw/
- 【Edge AI專欄 】 如何使用 Gradio 快速搭建人工智慧應用圖形化人機介面 - 2024/12/23
- 如何使用Intel AI PC及OpenVINO實現虛擬主播 - 2024/12/16
- 【Edge AI專欄】 邊緣端小語言模型崛起，開發板跟上了嗎？ - 2024/11/26
.jpg)
.jpg)