|

以可重構NPU實現邊緣應用 耐能致力推動AI民主化

成立於2015年、擁有台灣血統的AI晶片設計業者耐能智慧(Kneron),於2023年底針對企業應用發表以該公司神經網路處理器(NPU)技術為基礎的KNEO 300系列EDGE GPT邊緣裝置,主打可藉由在裝置本地端(不須連結網際網路)運作GPT大語言模型,為使用者實現低延遲、高效率且具備隱私保護與資料安全性的各種Edge AI推論應用,在市場上掀起一波討論熱潮…

Read More

不怕離線!100%在樹莓派上執行的LLM專案

ChatGPT掀起一波LLM熱潮,但LLM運作需要龐大運算力,因此目前多是在雲端上執行。不少人希望LLM也能在本地端執行,如此就不怕斷線、洩漏隱私、內容審查、誤導等缺點。本篇文章,就會介紹創客如何利用樹莓派執行的LLM專案!

Read More
No more posts to show