作者：陸向陽
「AI推論時代已經到來！」Qualcomm資深工程總監Jim Hou在11月19日舉辦的《MakerPRO》 MAI開發者年會專題演說中表示，新AI模型的表現一個比一個好，同時模型的資源佔量急遽減少，如此AI模型不必然要在雲端、後端運作，可以挪移到前端、行動端，如筆電、無人機、自駕車等。
Qualcomm資深工程總監Jim Hou
將AI推論工作向前移也有諸多好處，如反應更快速、避免裝置內機敏資訊外洩、更個性化服務等，未來AI將無所不在，並成為人機互動的新介面。而推論的前移即是今日常言的Edge AI。
但是如何開發在前端（或稱邊緣端）的AI應用呢？對此Jim Hou揭櫫Qualcomm的技術主張，若尚未進行開發可以用Qualcomm的AI Engine Direct，也稱為QNN或QAIRT，並搭配低階函式庫，如此可以將硬體資源、效能充分用於AI應用上。
如果本來熟悉其他的開發工具或已有現成已開發完成的AI模型，如TensorFlow、PyTorch等，也可以透過軟體開發套件SDK中的工具對AI模型進行轉換、量化、最佳化等程序，而後再移至Qualcomm Snapdragon系列晶片上運作。
或者開發者也能使用Microsoft的ONNX Runtime來執行，透過ONNX Runtime與各類型晶片（指CPU、GPU、NPU等）的執行供應器（Execute Provider, EP）也可讓AI模型運作。
圖1：Qualcomm針對Edge AI軟體開發提出的技術主張（圖片來源：Qualcomm）
開發語言的選擇
對於Edge AI開發，Jim Hou也分析不同程式語言的優缺點，以C/C++及Python兩者為例，C/C++（且搭配使用Visual Studio開發工具）的好處是可以實現原生開發，而且可以高度針對硬體特性充分運用硬體資源、發揮硬體效能，但缺點是程式碼比較多，還要進行記憶體管理或預先/事後的函式庫管理等，比較複雜。
相對的，若是用Python進行開發，其優點是程式碼少，可適應多種AI框架與函式庫，開發完成後要佈建也較為快速容易，適合用在概念驗證（PoC）上，但缺點是無法充分運用發揮硬體資源及效能。
圖2：Qualcomm針對Edge AI開發上的程式語言選擇提出優劣比較（圖片來源：Qualcomm）
Qualcomm AI Hub可輕鬆佈建、加速開發
AI應用開發完成後，有可能依據不同場合需要不同的佈建，可能放到視訊監控攝影機內，可能放到智慧型手機內，甚至智慧錶內，然而相同的AI模型要放到不同規格的裝置內，若要開發者逐一手動調整模型實在太類，對此Qualcomm提出AI Hub方案，讓開發者可以相同模型輕鬆到處佈建。
圖3：Qualcomm AI Hub可協助開發者將其AI模型佈建到不同裝置上（圖片來源：Qualcomm）
不僅佈建便利，Qualcomm AI Hub上還有超過175個已經預先訓練好的AI模型可用，如YoLo-v7、AOT-GAN等，開發者能以此為基礎再行訓練或微調，加快整體開發程序。另外Qualcomm也在GitHub上放有AI Hub模型的範例描述語言、範例應用程式，如Whisper、Stable Diffusion、ChatApp等，一樣可加速開發。
圖4：Qualcomm AI Hub上有諸多現行的預訓練模型可用（圖片來源：Qualcomm）
Qualcomm Dragonwing開發套件
Qualcomm支援Edge AI開發者的不只是前述的開發工具、雲端平台等，還有硬體開發套件，目前主推的是Dragonwing RB3 Gen2與Dragonwing IQ-9 EVK（EVK即評估套件之意）。RB3 Gen2的主控晶片為Qualcomm QCS6490，在AI推論的硬體加速上具有12TOPS效能，適合攝影機內的電腦視覺AI應用。
至於IQ-9 EVK的硬體規格更高，AI硬體加速的效能可達100TOPS，並且支援16組攝影機及4K解析度的視訊串流，開發者可依自己應用開發的情境需求擇一使用。
圖5：Qualcomm建議開發者依情境選擇高低兩種規格的Edge AI硬體開發平台（圖片來源：Qualcomm）
Qualcomm Device Cloud與L2Pro Taiwan
關於AI硬體評估，Jim Hou也推薦Edge AI開發者使用Qualcomm的Device Cloud，只要在網站上申請帳號並登入，便可以存取、體驗各種Qualcomm晶片構成的硬體平台，如Snapdragon X Elite，或是前述的RB3 Gen2等，此也同樣有利於開發者評估自己的AI應用適合用哪一種硬體平台。
圖6：Qualcomm Device Cloud讓Edge AI開發者可線上評估硬體平台（圖片來源：Qualcomm）
在完成Edge AI開發後，相信多數人不希望自己的開發心血被人剽竊，所以Qualcomm也開設相關課程，教導開發者如何保護自己的智慧財產權，此即Qualcomm的L2Pro Taiwan台灣IP培訓平台。
平台上有免費的培訓課程，可以掌握基礎的智慧財產權知識，了解如何用專利保護自己的開發等，完成培訓也能獲得電子培訓證書。
圖7：Qualcomm提供L2Pro線上課程期保護Edge AI開發者的智財權（圖片來源：Qualcomm）
- Qualcomm實現高效邊緣AI運算的策略與平台 - 2025/11/24
- Gemini Robotics 1.5版觀察 - 2025/10/21
- Qualcomm購併Arduino觀察 - 2025/10/17
訂閱MakerPRO知識充電報
與40000位開發者一同掌握科技創新的技術資訊！
