|
【Arm的AI世界】運用小語言模型在邊緣端實現生成式AI
2 月13

【Arm的AI世界】運用小語言模型在邊緣端實現生成式AI

Posted By on 2 月 13, 2025 in Arm, Arm的AI世界, Edge AI開發地圖, Llama 2, TinyML, Transformer, 技術導讀, 技術新訊, 特寫

儘管大語言模型(LLM)更廣為人知，但由於小語言模型(SLM)能夠以更少資源、較低成本提供出色的效能，而且訓練起來也更為簡易且成本更低，因此受到越來越多的關注；Arm展示了搭載Ethos-U85 NPU的系統晶片解決方案如何在嵌入式硬體上運作小語言模型。

Read More
為Edge AI而生的SLM：TinyLlama
11 月28

為Edge AI而生的SLM：TinyLlama

Posted By on 11 月 28, 2024 in Llama 2, SLM, 技術導讀

TinyLlama 2 作為一個SLM小型語言模型，特別適合資源受限的嵌入式系統和邊緣運算環境。

Read More
想加速RAG開發？你需認識LLamaIndex框架
11 月21

想加速RAG開發？你需認識LLamaIndex框架

Posted By on 11 月 21, 2024 in Llama 2, LLM, RAG, 技術導讀

LLamaIndex 是 RAG 系統中不可或缺的基礎工具，專注於高效資料檢索與管理，本文將介紹兩者之間的技術關聯性。

Read More
【Arm的AI世界】Kleidi助力開發人員加速AI創新
6 月27

【Arm的AI世界】Kleidi助力開發人員加速AI創新

Posted By on 6 月 27, 2024 in Arm, Arm, Arm的AI世界, Edge AI, Edge AI解決方案, Edge AI開發地圖, Edge AI開發環境, Gemma, Llama 2, 技術新訊

Arm Kleidi是一項廣泛的軟體和軟體社群參與計畫，目的在於加速AI發展。首先推出運用於熱門AI框架的Arm Kleidi軟體函式庫，開發人員可以直接取得Arm CPU出色的AI功能；而如今全球從雲端到邊緣的大多數AI推論工作負載，都在這些Arm CPU上執行。

Read More
【2024 MAI Talks】陳縕儂：打造台版LLM的理由與挑戰
5 月29

【2024 MAI Talks】陳縕儂：打造台版LLM的理由與挑戰

Posted By on 5 月 29, 2024 in 2024 MAI Talks, AI關鍵技術, Edge AI開發地圖, Edge AI開發學習, Edge AI開發環境, Gemini, Llama 2, LLM, RAG, 活動報導, 觀點, 課程導讀

在台大資工系陳縕儂副教授主講的「打造台版LLM的理由與挑戰」演講中，主要討論了建立台灣版大型語言模型（LLM）的必要性及挑戰，並分享了她和她的學生在這方面的努力和成果。

Read More
輕鬆使用OpenVINO在本地裝置離線運作Llama3
5 月06

輕鬆使用OpenVINO在本地裝置離線運作Llama3

Posted By on 5 月 6, 2024 in AIGC, Edge AI, Edge AI解決方案, Edge AI開發地圖, Llama 2, OpenVINO, OpenVINO專欄, OpenVINO教學文, 教學文, 開發工具

利用OpenVINO部署Llama3到本地運算資源，例如AI PC，不僅意味著更快的回應速度和更低的運作成本，還能有效地保護資料安全，防止敏感資訊外洩。這對於需要處理高度敏感性資料的應用場景尤其重要，如醫療、金融和個人助理等領域。本文將介紹如何使用OpenVINO對Llama3模型進行最佳化和推論加速，並將其部署在本地裝置上，進行更快、更智慧的AI推論。

Read More