|
致敬?回敬?繼NVIDIA Chat with RTX後AMD亦推行LLM Studio
3 月27

致敬?回敬?繼NVIDIA Chat with RTX後AMD亦推行LLM Studio

LLM/GenAI倚賴雲端資料中心機房裡龐大的運算力,才能即時完成推論結果並回應,一旦網路斷線就無法使用,同時,雲端執行也有洩漏公司機密或個人隱私等風險,鑑於此,不少人開始期待透過本地端或本機端執行LLM。本篇文章,就會介紹AMD推行的LLM Studio,其可下載於本地端進行簡單的聊天問答。

Read More
推探Google開源、輕量級大型語言模型Gemma
3 月21

推探Google開源、輕量級大型語言模型Gemma

Google基於原有Gemini模型經驗與技術衍生打造Gemma模型,該模型為開放來源程式碼,滿足開源需要的開發者與用戶,有機會進行更多的延伸、衍生或更細深的客製。本篇文章就會對Gemma進行簡單的介紹。

Read More
【Maker電子學】步進馬達的原理與驅動—PART9
3 月20

【Maker電子學】步進馬達的原理與驅動—PART9

本篇文章介紹步進馬達驅動 IC A4988 做成的模組,並說明我們能如何應用這些模組。

Read More
OpenVINO 2024.0:為開發者提供更高性能、更強大支援  
3 月19

OpenVINO 2024.0:為開發者提供更高性能、更強大支援  

OpenVINO 2024.0來了!我們很高興在這個版本推出一系列強化功能,目標是在快速發展的AI領域賦予開發者更強大的能力;新版本透過動態量化、改善的GPU最佳化以及對混合專家(MoE)模型架構的支援,增強了大語言模型(LLM)的性能。OpenVINO 2024.0讓開發者能有效利用AI加速,這也要感謝來自社群的持續貢獻。

Read More
【創業小聚】傳接球實驗室靠AI挑戰北美棒球殿堂
3 月14

【創業小聚】傳接球實驗室靠AI挑戰北美棒球殿堂

新創傳接球實驗室產品b4-app的理念:透過手機App自動分析和記錄擊球仰角、揮棒軌跡等數據,作為球員後續訓練的依據。

Read More
用OpenVINO與NNCF最佳化Whisper語音辨識模型
3 月13

用OpenVINO與NNCF最佳化Whisper語音辨識模型

本文示範如何以OpenVINO與Optimum Intel載入並執行Whisper與Distil-Whisper模型進行音訊轉錄任務,以及如何使用NNCF對這些模型執行INT8訓練後量化;接著在橫跨多種CPU的裝置上以大規模語音轉文字資料集評估這些模型。

Read More