Skymizer為邊緣裝置LLM處理打造加速器晶片IP
Skymizer 跨足晶片硬體IP市場，發表EdgeThought (ET2)系列加速器IP，號稱採用革命性的軟硬體協同設計，以該公司的編譯器技術為核心，結合為LLM處理量身打造的運算與記憶體架構，將能為從物聯網(IoT)、手機、PC、汽車到邊緣伺服器等裝置，提供輕鬆執行各種LLM模型的解決方案，包括能支援Meta最新Llama3 8B模型。
【活動報導】AI PC搭OpenVINO 在邊緣輕鬆部署LLM！
為了讓開發者更充分了解如何在自己的AI PC上發揮Intel最新版本OpenVINO開發平台的效能以實現更多創新應用，MakerPRO與Intel共同舉辦了以「探索AI PC新時代，學習在邊緣裝置輕鬆運作LLM」為題的第四場OpenVINO DevCon線上講座。
輕鬆使用OpenVINO在本地裝置離線運作Llama3
利用OpenVINO部署Llama3到本地運算資源，例如AI PC，不僅意味著更快的回應速度和更低的運作成本，還能有效地保護資料安全，防止敏感資訊外洩。這對於需要處理高度敏感性資料的應用場景尤其重要，如醫療、金融和個人助理等領域。本文將介紹如何使用OpenVINO對Llama3模型進行最佳化和推論加速，並將其部署在本地裝置上，進行更快、更智慧的AI推論。
讓生成式AI「靠邊」 NVIDIA展現軟硬兼施真功夫
為了讓更多開發者了解生成式AI技術的魅力所在，以及NVIDIA的Jetson系列平台在部署Edge AI應用時發揮的關鍵作用，NVIDIA代理商益登科技(EDOM)與MakerPRO合作舉辦了一場線上講座，帶領聽眾探索生成式AI新技術將如何顛覆各行各業的運作模式
以服務精神經營Edge AI市場 DeepMentor志在實現「模型經濟」
DeepMentor目前的解決方案，是以獨家的AI模型/演算法微型化軟體技術為基礎，搭配名為DeepLog的自有AI處理器(TPU)軟IP，以及DMAI系列AI加速硬體系統(Arm架構加速卡DMAI FPGA與Intel x86架構DMAI-700/900)，提供涵蓋模型訓練、ASIC設計、嵌入式系統軟硬體整合的客製化Edge AI應用落地服務。
OpenVINO 2024.0：為開發者提供更高性能、更強大支援
OpenVINO 2024.0來了！我們很高興在這個版本推出一系列強化功能，目標是在快速發展的AI領域賦予開發者更強大的能力；新版本透過動態量化、改善的GPU最佳化以及對混合專家(MoE)模型架構的支援，增強了大語言模型(LLM)的性能。OpenVINO 2024.0讓開發者能有效利用AI加速，這也要感謝來自社群的持續貢獻。