|
輕鬆使用OpenVINO在本地裝置離線運作Llama3
5 月06

輕鬆使用OpenVINO在本地裝置離線運作Llama3

利用OpenVINO部署Llama3到本地運算資源,例如AI PC,不僅意味著更快的回應速度和更低的運作成本,還能有效地保護資料安全,防止敏感資訊外洩。這對於需要處理高度敏感性資料的應用場景尤其重要,如醫療、金融和個人助理等領域。本文將介紹如何使用OpenVINO對Llama3模型進行最佳化和推論加速,並將其部署在本地裝置上,進行更快、更智慧的AI推論。

Read More
LoRA微調三步驟:以大語言模型MT5為例
5 月02

LoRA微調三步驟:以大語言模型MT5為例

本篇文章,將以MT5-small預訓練大模型為例,並以Python源碼(Source Code)來說明如何進行LoRA微調三步驟。

Read More
具TinyML功效的開放硬體智慧錶專案:FryPi
4 月29

具TinyML功效的開放硬體智慧錶專案:FryPi

開放硬體專案OV-Watch推出進階版的FryPi專案,它是以OV-Watch為基礎進行改進提升,這次希望一般初學者跟專業人士都能輕鬆運用,而且加入TinyML能力。本篇文章會簡單對此專案進行介紹。

Read More
【Edge AI專欄】AIPC開箱實測 ─ Yolov8斜物件偵測
4 月26

【Edge AI專欄】AIPC開箱實測 ─ Yolov8斜物件偵測

本篇文章會使用Asus NUC 14 PRO來進行AI推論應用,並從AIPC 硬體規格、安裝工作環境、旋轉物件偵測及在不同硬體運行效能分析比較等方面幫大家做一個完整的介紹。

Read More
讓生成式AI「靠邊」 NVIDIA展現軟硬兼施真功夫
4 月26

讓生成式AI「靠邊」 NVIDIA展現軟硬兼施真功夫

為了讓更多開發者了解生成式AI技術的魅力所在,以及NVIDIA的Jetson系列平台在部署Edge AI應用時發揮的關鍵作用,NVIDIA代理商益登科技(EDOM)與MakerPRO合作舉辦了一場線上講座,帶領聽眾探索生成式AI新技術將如何顛覆各行各業的運作模式

Read More
【開箱評測】看研華科技 AIR-150 搭載 Hailo-8 26TOPS AI推論晶片如何成為邊緣智慧新利器
4 月25

【開箱評測】看研華科技 AIR-150 搭載 Hailo-8 26TOPS AI推論晶片如何成為邊緣智慧新利器

本篇文章會對研華科技的微型工業電腦 AIR-150 進行評測。這款機器內搭 M.2 型式 Hailo-8 高效 AI 加速模組,具有 26 TOPS 推論能力,正好可以解決惡劣環境、空間窄小及AI應用推論算力不足的問題。

Read More