不怕離線！100%在樹莓派上執行的LLM專案
ChatGPT掀起一波LLM熱潮，但LLM運作需要龐大運算力，因此目前多是在雲端上執行。不少人希望LLM也能在本地端執行，如此就不怕斷線、洩漏隱私、內容審查、誤導等缺點。本篇文章，就會介紹創客如何利用樹莓派執行的LLM專案！
【Arm的AI世界】用Vela編譯器在Ethos-U NPU部署神經網路模型
為了因應這波邊緣與終端AI裝置浪潮，Arm特地設計了microNPU 機器學習(ML)處理器Ethos-U，為面積受限的嵌入式與物聯網裝置加速ML推論。要在Ethos-U上部署神經網路(NN)模型，第一步須使用Vela來編譯你已備妥的模型。Vela是一種開源Python工具，可以將神經網路模型最佳化為能在內含Ethos-U NPU的嵌入式系統上執行之特定版本；這篇文章將展示使用Vela編譯模型的工作流程。
新年首發 OpenVINO 2023.3 LTS版本隆重登場！
是時候在生成式人工智慧(AI)領域大放異彩地開啟2024年了，最新的OpenVINO推論工具2023.3 LTS版本隆重登場，導入了額外的框架改變，最佳化了生成式AI模型的特性，並強化了對現有平台的支援，將使您在新的一年中的程式編寫之旅變得異常精彩！本文將帶您了解新版本OpenVINO的一些重要更新。
Imagimob推出Ready Models加速Edge AI應用部署
Infineon旗下的Edge AI開發平台供應商Imagimob推出專為Edge AI裝置打造的機器學習(ML)解決方案Imagimob Ready Models，可快速部署於Infineon的PSoC 6 等現有MCU硬體上，使用者無需再投入模型開發所需成本、時間和專業知識。
【活動報導】OpenVINO讓生成式AI隨手可及
2024年伊始，OpenVINO的最新版本2023.3 LTS正式發表，更進一步降低了生成式AI技術的門檻，為了讓廣大開發者對最新版OpenVINO的強化功能有更深入的了解，Intel與MakerPRO在2024年1月底共同舉辦了第三場OpenVINO DevCon線上講座…
用OpenVINO和LangChain打造你專屬的RAG問答系統
隨著生成式AI的興起，和大語言模型對話聊天的應用變得非常熱門，但這類應用往往只能簡單地和你「聊聊家常」，並不能針對某些特定產業提供非常專業和精準的答案。那有沒有辦法讓你的模型學習到新的知識呢？當然有!在沒有足夠GPU運算資源對模型進行重新訓練的情況下，RAG方式對普通使用者來說更友善。本文就要來探討如何利用OpenVINO以及LangChain工具構建屬於你的RAG問答系統。