Edge AI開發平台比一比
|
以LLaVA-NeXT和NNCF先進量化技術掌握多模態AI
6 月18

以LLaVA-NeXT和NNCF先進量化技術掌握多模態AI

在這篇文章中,我們將探索LLaVA-NeXT多模態聊天機器人Notebook,學習如何轉換和最佳化LLaVA-NeXT模型來打造多模態聊天機器人。此外,我們將探討如何在LLM部分應用有狀態轉換(stateful transformation)和使用NNCF進行權重壓縮和量化等模型最佳化技術。

Read More
釋放多模態AI的力量:利用Pix2Struct和Optimum Intel
6 月17

釋放多模態AI的力量:利用Pix2Struct和Optimum Intel

多模態可以同時處理視覺、聽覺和文字資料,以驚人的深度和精確度解釋其環境;在這篇文章中,我們將深入探討多模態AI的能力,並探索Intel的OpenVINO工具套件如何最佳化這些複雜系統,以因應現實世界的應用。

Read More
【2024 MAI Talks】AIPC帶給開發者的即戰力
5 月30

【2024 MAI Talks】AIPC帶給開發者的即戰力

Intel平台研發協理王宗業分享的「AIPC帶給開發者的即戰力」。從幾個方面介紹了AIPC(Artificial Intelligence Personal Computer)對開發者的重要性和實用性,並展示了Intel在AI技術方面的領先地位和未來發展方向。

Read More
輕鬆使用OpenVINO在本地裝置離線運作Llama3
5 月06

輕鬆使用OpenVINO在本地裝置離線運作Llama3

利用OpenVINO部署Llama3到本地運算資源,例如AI PC,不僅意味著更快的回應速度和更低的運作成本,還能有效地保護資料安全,防止敏感資訊外洩。這對於需要處理高度敏感性資料的應用場景尤其重要,如醫療、金融和個人助理等領域。本文將介紹如何使用OpenVINO對Llama3模型進行最佳化和推論加速,並將其部署在本地裝置上,進行更快、更智慧的AI推論。

Read More
【Edge AI專欄】AIPC開箱實測 ─ Yolov8斜物件偵測
4 月26

【Edge AI專欄】AIPC開箱實測 ─ Yolov8斜物件偵測

本篇文章會使用Asus NUC 14 PRO來進行AI推論應用,並從AIPC 硬體規格、安裝工作環境、旋轉物件偵測及在不同硬體運行效能分析比較等方面幫大家做一個完整的介紹。

Read More
OpenVINO 2024.0:為開發者提供更高性能、更強大支援  
3 月19

OpenVINO 2024.0:為開發者提供更高性能、更強大支援  

OpenVINO 2024.0來了!我們很高興在這個版本推出一系列強化功能,目標是在快速發展的AI領域賦予開發者更強大的能力;新版本透過動態量化、改善的GPU最佳化以及對混合專家(MoE)模型架構的支援,增強了大語言模型(LLM)的性能。OpenVINO 2024.0讓開發者能有效利用AI加速,這也要感謝來自社群的持續貢獻。

Read More