AI工具讓視障者也能順利完成3D建模！

Posted By 陸向陽 on 12 月 26, 2025 in AIGC, Edge AI開發地圖, LLM, 案例研究, 特寫, 開發工具, 陸向陽 | 0 comments

作者：陸向陽

3D建模（建立模型）有多種方式，例如直接掃描實物的外觀來實現建模，或者是操作電腦軟體以繪製點、線、面等元素的方式來構成3D模型，或者是用類似寫程式（一堆文字數字）的方式來描述出3D模型。

若是以撰寫方式實現建模，目前以OpenSCAD這套軟體最具代表性，從軟體名稱上也可了解這是一套開放、免費的軟體，因而被人廣泛使用，特別是在教育領域。

圖1：3D建模軟體OpenSCAD的典型程式畫面（圖片來源：OpenSCAD官網）

對一般人而言使用OpenSCAD並無大礙，但對視障（Blind and Low-Vision, BLV，或稱visually impaired）者而言則有困難。為此美國的華盛頓大學、普渡大學、麻省理工學院、史丹佛大學、密西根大學、德州大學達拉斯分校，以及香港的香港大學等多所學研機構共同合作，期望建立一套能協助視障者建立3D模型的系統，此系統稱為A11yShape。

A11yShape是以LLM大語言模型為基礎所建構成，目前是用OpenAI公司的GPT-4o封閉模型，首先是OpenSCAD內的3D模型是以文句方式描述，所以這些文句會先送入GPT-4o模型中，而後轉化成更適合的方式提供給視障者，例如語音讀出、盲人點字器等各種現行盲人輔助閱讀工具。

圖2：A11yShape程式畫面主要由Code Editor Panel、AI Assistance Panel以及Model Panel三部份所組成（圖片來源：hackster）

A11yShape需要與OpenSCAD搭配，一樣提供3D建模所需的基本文字編輯器功能，如Undo恢復、Redo重複等，等文字編輯完成後按下Generate Model便可產生模型，如果建模的程式碼有錯誤則會在編輯器下方顯示，並可在更下方位置進行程式碼修改。

而A11yShape真正發揮的部份主要是在AI Assistant Panel這塊，首先是提供類似ChatGPT的文字輸入框，用詢問、發話方式來要求GPT-4o產生3D模型程式碼，GPT-4o會針對其產生的內容提供摘要，然後是每個模型元件的修改內容描述，更之後則是建議的建模程式碼修改說明。視障者透過聆聽或閱讀（若仍有部份視力）來瞭解AI Assistant Panel產生的內容與建議，以此來調整本來在OpenSCAD中的程式內容。

而在每次的原始程式碼調整後重新產生模型，模型的產生結果會以兩種方式呈現，一是文字描述的階層式架構，另一是實際3D渲染的視覺呈現，創作者對於產生結果若不滿意，可以持續透過文字對話方式與GPT-4o溝通，獲得新的修改建議，從而回去修改建模的原始程式碼，重新再產生模型的階層式架構、渲染視覺呈現，反覆如此互動，最終得到視障創作者想要的3D建模作品。

圖3：視障者操作A11yShape實現3D建模示意圖（圖片來源：ACM）

元件關聯對應能力、版本控管回溯能力

如果只是在編輯輸入與實際輸出之間加插一個AI對話協助工具，那A11yshape未免太簡單；事實上A11yshape更強大的地方是提供立即的對應標示能力，只要建模創作者點按程式碼、階層式架構、AI修改文字建議還是3D渲染成的模型圖形等四者中的任一處，另外三者的對應位置也都會以高亮度顯示，如此就可以快速檢視與修改調整，方便且省時。

圖4：快速對應功能舉例，點按階層式架構中某個元件後，3D渲染畫面也會用不同顏色標示，程式碼也會被對應標示（圖片來源：Design & Engineering for Making (DE4M) Lab）

由於視障創作者會同時參考AI產生的內容、實質視覺呈現內容等進行再修改，如此肯定會反覆修改相當多次，最終才完成建模作品，但過程中有可能會有些嘗試修改並不滿意，需要推翻回退的，對此A11yShape也提供歷程記錄與版本控制等功能，讓創作者有機會回頭檢視每一個修改歷程，必要時從過去某個修改時間點再行後續發展。