參賽隊伍名稱:數位內容人
提案動機
我們團隊熱愛研究資訊技術與中文(特別是文學)的跨域結合,AI 與文學結合,可以創造出絕美視覺體驗,並且創造新契機。本計畫用 AI 技術來結合兩個創作族群:圖片創造者(一般拍照者、攝影師、插畫設計師)、文字書寫者,讓我們來看看圖文的匹配結合可以擦出什麼新火花,概念驗證也已實作成功,有興趣的人歡迎來用用看。
demo 網址:https://episode.cc/openvinocontest
實作方法
首先我們利用 Intel OpenVINO 對圖片創造者所上傳的圖片進行物件辨識、並且加以標籤化,另一方面,對於文字書寫者,系統以拆詞機制即時分析文字內容,然後透過標籤的比對,找出最適合文意的圖片作為版面背景,如此便成為一篇能吸引眼球的文章。
我們的演算法採用 ssd_mobilenet_v2_coco 圖片物件辨識推論模型 + coco_91cl_bkgr.txt 標籤檔,硬體設備為 Intel i7 3370,Openvino 技術很不錯,轉譯出來的模型運作速度飛快,一張圖辨識出各種物件所需時間平均落在 100ms 以內,另外,因為受限於標籤檔的詞彙容量,目前先支援 90 個標籤來進行示範,標籤同時支援英文與中文。文字拆詞找圖功能是即時的,當書寫者打字時、系統會即時分析目前內容並推薦最佳圖片。
未來發展
純文字的時代漸漸過去,拍出漂亮照片則是人人都已擁有的能力(因為手機越來越強大),那麼將這兩個概念結合起來如何?一段文字搭配一個好看背景圖,可以做出卡片表達心意 (情人、親子紀錄生活)、可以為失落的出版業找到新機會 (跳出滿是文字的傳統框架)、或者可以打造新型態的社群平台 (想想看 IG當初的點子)。這個範例僅是一個初步的發想,還有很多可能性等待我們的探索。
補充說明
註1:我們發現 ssd_mobilenet_v2_coco 推論模型比較適合分析照片,對於插圖的精確度就差了一些,所以本計畫先以照片類圖片為主要的試驗對象。
註2:團隊目前在政大數位內容研究人機設計,期望以新科技為傳統人文帶來新面貌。