以服務精神經營Edge AI市場 DeepMentor志在實現「模型經濟」
DeepMentor目前的解決方案，是以獨家的AI模型/演算法微型化軟體技術為基礎，搭配名為DeepLog的自有AI處理器(TPU)軟IP，以及DMAI系列AI加速硬體系統(Arm架構加速卡DMAI FPGA與Intel x86架構DMAI-700/900)，提供涵蓋模型訓練、ASIC設計、嵌入式系統軟硬體整合的客製化Edge AI應用落地服務。
【Arm的AI世界】縮小Edge AI的技能落差
希望運用新型AI和機器學習工作負載的邊緣AI開發團隊，大部分都面對技能落差的問題，導致團隊沒有足夠能力最佳化及加速裝置內的AI。所以有哪些關鍵落差持續存在？讓我們深入探討各個領域的挑戰以及解決方案。
Nvidia GTC 2024 提出的 FP8/FP4 如何加速AI訓練及推論
新一代 GPU Blackwell B200 在硬體端提供了 FP4 計算能力，單片就可達 20 petaFLOPS，二片 B200 組成的 GB200 在訓練性能是前一代 H100 的 4 倍，推論性能更高達 7 倍。若再將 36個 CPU 加上 72 個 GPU 組成「GB200 NVL72」超大型伺服器，則 FP8 訓練能力可高達 720 petaFLOPS， FP4 推論能力更高達1.44 exaFLOPS。而究竟什麼是 FP8 / FP4 呢？本篇文章會簡單幫大家科普一下。
致敬？回敬？繼NVIDIA Chat with RTX後AMD亦推行LLM Studio
LLM/GenAI倚賴雲端資料中心機房裡龐大的運算力，才能即時完成推論結果並回應，一旦網路斷線就無法使用，同時，雲端執行也有洩漏公司機密或個人隱私等風險，鑑於此，不少人開始期待透過本地端或本機端執行LLM。本篇文章，就會介紹AMD推行的LLM Studio，其可下載於本地端進行簡單的聊天問答。
新唐發表以MCU/MPU為基礎的終端AI平台
以擴展AI生態系至微控制器(MCU)領域為目標，新唐科技(Nuvoton)宣布推出基於微控制器的終端AI平台；此解決方案以新唐全新架構設計的微控制器和微處理器為基礎，包括NuMicro MA35D1、NuMicro M467以及配備Arm Ethos-U55 NPU的NuMicro M55M1系列。
OpenVINO 2024.0：為開發者提供更高性能、更強大支援
OpenVINO 2024.0來了！我們很高興在這個版本推出一系列強化功能，目標是在快速發展的AI領域賦予開發者更強大的能力；新版本透過動態量化、改善的GPU最佳化以及對混合專家(MoE)模型架構的支援，增強了大語言模型(LLM)的性能。OpenVINO 2024.0讓開發者能有效利用AI加速，這也要感謝來自社群的持續貢獻。