人工智慧(AI)浪潮席捲全世界，帶來的影響涵蓋社會各個層面，除了將讓一般大眾的工作與日常生活更有效率、更便利，也改變了各種產業的營運模式，包括實現AI的科技產業。在2018年成立的滿拓科技(DeepMentor)就深刻體會，必須要隨時掌握相關資訊、快速因應市場變化自我調整，才不至於在日益激烈的競爭中被淘汰。
「我們公司現在靠『唸書』在賺錢！」這當然只是DeepMentor創辦人暨執行長吳昕益開玩笑的說法，卻也充分反映了目前AI領域一日千里的發展速度。他在接受MakerPRO編輯專訪時表示：「我從來沒有看過知識貶值這麼快的技術，而且幾乎是以週為單位。只要網路上一有新的AI技術相關論文或新聞發表，客戶、股東就會跑來找我們討論，要是漏看了還會被說不夠認真；」因此對於AI技術變化，公司團隊都追得非常緊，說有「資訊焦慮」都不為過。
DeepMentor創辦人暨執行長吳昕益。(圖片來源：DeepMentor)
但也如同吳昕益所言，DeepMentor「會唸書」是有好處的，不僅因為對技術與市場資訊有充分了解而能隨時應變，也藉由與客戶、合作夥伴之間在相關資訊與知識上的密切交流來「交朋友」，逐漸擴展自有的產業生態系；「公司的發展是靠很多人的幫忙，指導我們應該要怎麼改變，其實我也不敢說現在就是最終的方向，我認為我們還在變。」
從AI晶片硬體轉向AI軟體與服務
DeepMentor成立之初，正值中美貿易戰開打，新崛起的AI技術儼然成為東西方兩大強權相互競爭的焦點主題之一；當時中國大陸以國家資源傾力發展自有AI晶片，無論是人才、論文與資料量都遠勝台灣，因此吳昕益從一開始就知道不能單打獨鬥，「我們的策略是找大家做朋友，如果別人的技術比較好，我們不介意使用；覺得我們比別人做得好，也會推薦別人使用我們的技術。」
透過合縱連橫的方式拓展生態系，吳昕益認為，只要能「讓一群人同時都有飯吃，這個產業就會活起來。」而DeepMentor目前的解決方案，是以獨家的AI模型/演算法微型化軟體技術為基礎，搭配名為DeepLog的自有AI處理器(TPU)軟IP，以及DMAI系列AI加速硬體系統(Arm架構加速卡DMAI FPGA與Intel x86架構DMAI-700/900)，提供涵蓋模型訓練、ASIC設計、嵌入式系統軟硬體整合的客製化Edge AI應用落地服務。
DeepMentor能提供客製化AI模型訓練、微型化與IC設計/終端部署服務。(圖片來源：DeepMentor)
以500萬顆晶片出貨量為一個基準點，著眼於邊緣端AI裝置的潛在經濟規模數量，出身IC設計業界的吳昕益曾經認為在這個領域的獨立AI晶片可望有短暫幾年生存空間，卻發現市場變化速度實在太快，像是AI電腦視覺功能只要一有需求，馬上就被大型IC業者「包了」，連一年時間都不到，這對應變不及的小型業者或新創公司來說會是相當沉重的打擊。
「我們摸索出來的方向是，經營AI不能用晶片產業的思維，必須把自己當作服務業，因為晶片隨時可能過時，但是服務永遠都會有需求；」吳昕益表示，因此DeepMentor在成立第二年就建置AI系統軟體團隊，同時也沒有放棄AI硬體矽智財的開發，儘管公司資源分配吃緊也經過一番掙扎，後來先賺錢的是軟體，又帶動了硬體的業務，證明他們選擇了正確的道路。
LLM熱潮掀起新一波AI模型微型化需求
2022年底OpenAI的ChatGPT正式對外公開，掀起一波至今方興未艾的生成式AI熱潮；而要想將動輒上百億參數的大型語言模型(LLM)從雲端「下放」終端裝置，若沒有一些獨門絕技，就很難實現在縮小模型的同時又維持一定水準精確度的成果，而這正是DeepMentor的強項所在；吳昕益指出，該公司在2023年3月就已經成功在PC上執行縮小的LLM。
不同於其他業者採用的模型量化(quantization)或剪枝(pruning)等可能會讓模型精確度大幅降低的方法，DeepMentor的獨家AI演算法微型化(miniaturization)技術，號稱能維持99%以上的輸出精確度，並將資料傳輸量與能源消耗量減少九成；從最早的8位元(bit)運算格式進步到4位元格式，目前該公司也在嘗試2位元的方案。
從資料收集，到模型訓練、微型化，以及設計AI晶片、驗證、終端應用部署，再到模型的重新訓練，DeepMentor可提供一整套流程包含軟硬體在內的解決方案與服務；除了能協助客戶在雲端進行模型訓練，也有採用英特爾(Intel)處理器、Nvidia繪圖卡與合作夥伴群聯電子(Phison)專為AI應用打造之記憶體的系統(Mentor-100/200/300/400系列)，讓企業能在本地自行訓練模型，不必顧慮商業機密外洩等資安問題。
DeepMentor提供可在地部署的Mentor系列模型訓練系統，讓企業客戶不必顧慮資安問題。(圖片來源：DeepMentor)
壯大台灣AI生態系 推動「模型經濟」
在為企業客戶提供軟硬體解決方案與服務之外，吳昕益透露，DeepMentor還想玩的是「模型經濟」，例如一個醫生可以將他的畢生所學訓練成AI模型，將「智慧財產」授權出去，這除了能成為新商業模式，也能造福社會。而不只是醫生，任何人都能透過這種方式來傳承經驗、或將自己的專業變成商品。
要推動「模型經濟」，前提是要讓AI技術變得更容易使用、更平價，即使是不具備技術專業的一般大眾使用者也能自己輕鬆訓練模型；另外更重要的是，需要有一個能實現公平交易的平台，還有一套審核機制(模型內容的適當性與定價)，以及能清楚規範責任歸屬與權利義務的法律。這些都不是在短時間能建置完備的，也必須要有來自不同領域的專業人士、還有社會各部門的通力合作。
吳昕益則認為，首先要讓所有人都了解AI的好處，開發者社群將在其中扮演關鍵角色；而無論是從創意出發或以公益為目的，DeepMentor都很願意與社群共同合作，包括提供硬體設備給開發者。「我們花了5年的時間建立生態系，現在已經差不多完成，現在需要借助社群的力量，激勵無所不在的AI應用，再把整個生態拉進來；」如此不但將有助於實現未來的模型經濟，也能回饋社會。
在5月16日將有一場由MakerPRO主辦、聚焦Edge AI的「MAI大會」，也邀請到DeepMentor執行長吳昕益與開發者分享最新技術與應用，並探討Edge AI生態系成員如何相互合作，敬請期待！
- 以服務精神經營Edge AI市場 DeepMentor志在實現「模型經濟」 - 2024/04/08
- 【科編出身】編輯檯報告 - 2024/03/22
- 以可重構NPU實現邊緣應用 耐能致力推動AI民主化 - 2024/03/08
