隨著OpenAI在5月中旬釋出最新ChatGPT-4o模型，以及緊接著年度Google IO大會發表Project Astra新一代AI助理、還有微軟(Microsoft)的AI PC架構Copilot+PC的問世，讓人對生成式AI更進一步普及化將開啟的全新時代充滿期待。
為了讓開發者更充分了解如何在自己的AI PC上發揮Intel最新版本OpenVINO開發平台的效能，包括輕鬆部署LLM等大型生成式AI模型以實現更多創新應用，MakerPRO與Intel在5月下旬共同舉辦了以「探索AI PC新時代，學習在邊緣裝置輕鬆運作LLM」為題的第四場OpenVINO DevCon線上講座，除了帶領聽眾探索Intel的AI PC架構如何憑藉獨特AI加速功能為開發者的AI專案帶來的效率與潛力，還示範了使用OpenVINO工具套件快速、準確地在AI PC和邊緣裝置上部署生成式AI，實現更快速且更智慧的推論。
Intel平台研發協理王宗業在開場時特別介紹OpenVINO最新的2024.1版本最新功能。這個新版本針對配備NPU的Intel Core Ultra架構AI PC進行了最佳化，簡化了安裝流程與跨多平台的部署流程，並帶來了對LLM推論性能的顯著提升，包括對最新發表的Llama 3模型，以及對GenAI LLM聊天/指導模型Falcon-7B-Instruct的支援等等；此外也增加了更多的OpenVINO Notebooks範例，以支持更廣泛的應用場景。
AI PC的優勢與價值
接著來自Intel的OpenVINO傳教士武卓博士，在線上講座的第一個部分深入介紹了AI PC的優勢與價值所在。她首先將AI應用分為傳統AI和生成式AI，並對這兩類應用進行了詳細比較，指出傳統AI應用包括姿態估計、語音識別和降低雜訊等應用場景，生成式AI則可執行文生圖、圖生圖，或是會議記錄摘要、程式碼生成等任務；傳統AI的模型大小變化較大，對低延遲要求高，而生成式AI模型更大，對延遲的容忍度較高。
在AI部署方式上，武卓比較了雲端和邊緣部署的優缺點。雲端部署可以處理大量資料，但隱私保護性較差、延遲較高；邊緣部署對於資料隱私有更好的保護，成本效益高，但受限於本地端硬體的資源。為支援AI在邊緣的部署，Intel的Core Ultra處理器架構以三大AI引擎──CPU、GPU和NPU──支援在不同場景下提供不同運算選擇，以滿足不同應用的需求；其中CPU適合低延遲需求的應用，GPU適合高處理量(throughput)需求的生成式AI應用，NPU則適合低功耗需求應用。
在硬體之外，Intel的AI PC還具備完整的軟體堆疊，包括支援Windows 11和Linux作業系統的AI引擎、各種AI推論框架(如PyTorch、ONNX Runtime)以及與Hugging Face合作的Optimum Intel工具；這些工具可以簡化模型轉換和最佳化過程，提升開發效率。武卓也強調了OpenVINO平台可提供的開發者資源和工具，包括OpenVINO Notebooks中的程式碼範例，對於開發者在AI PC上高效率部署、執行AI推論模型，並實現創新應用都能帶來相當大的助益。
在邊緣裝置輕鬆部署生成式AI模型
在對於AI PC有深入的了解之後，Intel的AI軟體工程師楊亦誠探討了在邊緣裝置上部署AI模型的優勢與挑戰，並透過實作案例來介紹詳細工作流程和可用的工具。他並強調，隨著邊緣裝置運算性能的提升，許多生成式AI應用可以從雲端轉移至邊緣，從而強化資料的隱私保護和回應的效率。
楊亦誠指出，在邊緣裝置設備部署LLM面臨的主要痛點有二：性能和能力；在有限的系統資源下執行強大的模型，需要平衡模型參數的大小和運作效率，為此開發者需要利用最佳化工具來提高模型在邊緣裝置的運作效果。利用OpenVINO進行LLM部署可輕鬆因應以上的挑戰，其流程包括模型轉換、模型量化與壓縮、指定運作平台和構建推論流水線(pipeline)等。
利用Weight Compression、Hybrid Quantization等策略，可顯著減小模型體積、提高運作效率；而要解決LLM面臨的知識更新困難、回答一致性不佳等問題，則可使用模型再訓練(Fine-Tuning)或導入外部知識庫(RAG)等方式。除了詳細介紹RAG的原理和優勢，楊亦誠也展示了使用RAG提升LLM回答精度的實例，證明該方法在處理特定領域知識問答方面的有效性。總而言之，開發者利用OpenVINO和Optimum Intel等工具，能有效在邊緣裝置上實現高效的AI應用部署，同時在使用者體驗和資料隱私保護方面也獲得提升。
最後在問答時間，來自Intel的專業講者也與線上聽眾針對NPU架構、模型量化、RAG知識庫更新、等等問題進行熱烈的互動；未來Intel與MakerPRO除了持續提供各位讀者最新的OpenVINO技術教學文章，也將繼續規劃在每一季舉辦不同主題的DevCon線上講座，讓大家一起學習如何更得心應手使用OpenVINO完成創新的Edge AI應用開發，期待很快線上再見！
- Hugging Face vs. GitHub：兩大開發者平台的主要差異 - 2024/12/22
- TI白皮書探討邊緣AI最新軟硬體技術與工具 - 2024/12/19
- Infineon發表邊緣AI軟體新品牌DEEPCRAFT - 2024/12/17
.jpg)
.jpg)