【Arm的AI世界】在Arm架構邊緣端裝置部署PyTorch模型
以Arm架構為基礎的處理器憑藉低功耗和高效率等優勢，在嵌入式系統中得到了廣泛應用。本文將為你展示如何在樹莓派或NVIDIA Jetson Nano 等Arm架構邊緣端裝置上部署PyTorch模型。
【Arm的AI世界】三步驟輕鬆在Ethos-U85上使用PyTorch與ExecuTorch
Arm透過在Ethos-U85上支援ExecuTorch測試版，為開發人員建構物聯網邊緣端應用提供了更多支援。開發人員可以借助ExecuTorch，高效率地部署原生開發的PyTorch模型，基於Arm平台建構出智慧且回應迅速的IoT解決方案。
輕薄型筆電OK！利用OpenVINO部署Phi-3.5「全家餐」
近期微軟發佈了最新的Phi-3.5系列SLM模型，是非常適合在AI PC上運作的模型任務。本文將分享如何利用OpenVINO在你的AI PC上部署最新Phi-3.5-mini及Phi-3.5-vision模型。
LangChain框架已正式支援OpenVINO！
透過LangChain，開發者可以輕鬆構建基於RAG或者Agent流水線的複雜應用體系，而目前我們已經可以在LangChain 的關鍵元件LLM、Text Embedding和Reranker中直接呼叫OpenVINO進行模型部署！
PyTorch為邊緣及行動設備推出ML推論優化工具：ExecuTorch
PyTorch Edge團隊日前（10/17）宣布推出ExecuTorch解決方案，此方案可為行動及邊緣設備提供設備端推論功能（on-device inference），目前已獲得Arm、Apple 和 Qualcomm 創新中心等大廠的支持。
