參賽團隊名稱:
我們的初心,以資訊技術的力量,協助改善視障生學習資源嚴重不足的問題。憲法賦予平等學習的權利,給視障孩子多一本書,他們就多一個機會。
專案簡述:
現代資訊社會中,資訊科技雖然日新月異,對於身心障礙族群的發展仍面臨許多挑戰,弱勢族群受限於資訊尋求與訊息掌控上較一般人更為薄弱,因此限制了享有教育、社交、就業與從事研究的平等機會。國小1-4年級的學生正值語言學習的黃金期,閱讀能力需要大量透過圖文書和繪本輔助進行培養,目前讀物和教材皆有大量旁註注音以協助一般明眼學生來閱讀,然而對視障學生來說,相同的圖文書籍只能仰賴家長的報讀外,或尋求現有的文字化電子書。
為視覺障礙者製作無障礙格式的文字化電子書,主要仰賴家長、義工對掃描文字進行人工逐字校對。現今掃描工具對於注音符號的辨識仍有不足,會將注音符號辨識為其他文字或標點符號等贅字,這些贅字的數量往往是原始文字的兩倍,造成逐字校對、繕打的工作量倍增。
我們期望能夠自動將注音符號與背景雜訊消除,避免產生過多的贅字,最終減少人工逐字校對、繕打的工作量,促進視覺障礙者製作無障礙格式的文字化電子書。
專案內容:
為什麼需要消去注音?
- 注音符號會阻礙OCR辨識,並產生大量錯、贅字。
- 由於注音造成的贅字使得OCR輸出字數是正確文字的2倍。
- 後續人工校對OCR的時間遠高於直接閱讀繪本後繕打。
注音消除的方法
工作流程如下圖所示,其中(A)Public Cloud 雲端計算端會用作處理預訓練模型、資料集生成、訓練注音消除模型等步驟。(B) Edge AI 作為執行推論裝置可在遠離雲端資源或無網路環境下在地端獨立運行。注音消除模型基於Autoencoder架構設計僅具有30萬個參數,訓練完成後再以OpenVINO工具將原始TensorFlow模型經過MO模型最佳化,再精煉為IR中繼表示格式後,最後部署於Edge A中I執行推論時協同OpenVINO對輸入影像進行注音抹除。
注音消除模型
我們參考了Autoencoder、U-Net、cGAN與pix2pix的架構,也評估使用物件偵測與影像分割的方式,考量在MVP階段因此選用的實作反轉input image與target image的角色,以學習複雜輸入影像如何輸出簡單影像為主要精神。將原本pix2pix的生成器(G)簡化為具有4層網路的自動編碼器,鑑別器(D)也簡化以loss function取代來判斷生成的影像,該簡潔的自動編碼器具有30萬個參數,僅需訓練50 epoch(15分鐘)即可得到純文字影像。
從影片中可看到注音消除模型每epoch訓練的消除效果。
Edge AI規格
本專案採用Intel合作廠商ADLINK之MDS-510型號無風扇邊緣系統,處理器11th Gen Intel Core i5-1145G7E@2.6GHz x8,繪圖Intel Xe Graphics(TGL GT2),16GB RAM,120GB SSD,作業系統Ubuntu 20.04 LTS,開發環境Intel® OpenVINO™ toolkit v2022.2、Tensorflow-2.6.0。
*所有功能展示均在Edge AI上運行,處理一張640×640的影像為0.2秒。*
功能展示(1):注音消除
以寬螢幕、全畫面觀看較佳。
功能展示(2):文件清理
除了可以把注音消除外,同樣適用於文件髒污、舊化的清理。
市場分析
創新價值 | 目標客群 | 目標市場 | 商轉可行性 |
🔰 減少注音文本辨識贅字數50%
🔰 提高2倍人工逐字檢查、重新繕打的效率 🔰 豐富視障生的學習資源 🔰 加快弱勢電子書籍的製作 |
👤 中央或地方政府機關
👤 非營利機構或團體 👤 依法立案之各級學校 👤 視障協會、團體 👤 視覺障礙者本身或其代理人 |
📈 110年出版新書57710本
📈 110年兒童讀物出版新書5759本(含繪本、故事書等) 📈 每年約有五千本童書需求 📈 先前舊書或尚未文字數位化之書籍 |
☑ 符合本國著作權法與馬拉喀什條約
☑ 尚無針對清理繁體中文注音的商品 ☑ 提供簡潔的UI介面 |
🔰 文字去背
🔰 老舊、污損文件清理 🔰 文件反向加入舊化、污損 |
🧑💻 文件數位化廠商
🧑💻 OCR軟體公司 🧑💻 個人使用 |
📊 藏書、舊書、古籍數位化
📊 機關紙本檔案掃描、保存 📊 私人紙本轉錄 |
☑ 尚無針對清理舊、損文件的商品
☑ 專利申請 ☑ 提供API服務 |
~ 謝謝觀看 ~
我們的初心,以資訊技術的力量,協助改善視障生學習資源嚴重不足的問題。憲法賦予平等學習的權利,給視障孩子多一本書,他們就多一個機會。
視障者學習媒材取得非常辛苦,為了彌補現有資源的不足,可由公益聯盟來做專業的整合,我們的方法可做為媒材開發重要的一環,給視障生一雙可以學習飛翔的翅膀。結合教育界,出版社的企業責任與社會參與,整合社會大眾改善教育環境的力量,開發視障學習平台,不以經濟規模為考量,積極協助視障相關社團法人,開發學習資源,讓視障孩子也能有多元的發展。