【Edge AI專欄】從CES 2024 看Edge AI及TinyML最新發展趨勢
今年CES的主軸：人工智慧、數位健康、永續發展、汽車科技、遊戲與電子競技、擴增/虛擬實境、智慧城市、智慧家居等領域最新技術。為了讓大家更了解在邊緣智慧(Edge AI)和微型機器學習(TinyML / MCU AI)的最新趨勢，本篇文章簡單盤點了此次四十多項較具代表性的產品讓大家認識一下。
不怕離線！100%在樹莓派上執行的LLM專案
ChatGPT掀起一波LLM熱潮，但LLM運作需要龐大運算力，因此目前多是在雲端上執行。不少人希望LLM也能在本地端執行，如此就不怕斷線、洩漏隱私、內容審查、誤導等缺點。本篇文章，就會介紹創客如何利用樹莓派執行的LLM專案！
如何避免手術器材殘留在患者體內？創客自製手術清單物件偵測器！
手術後忘在患者體內的手術器械、沾血海綿或其他物體都稱作「術後體內殘留物」，儘管醫院都有嚴謹規範與檢核步驟，還是時有所聞。本文介紹一位開發者打造的可攜型AI辨識裝置，可以評估手術結束時是否器具都已經收齊。
【創業小聚】前亞馬遜員工創立Spiral：用AI統整消費者回饋，找出「沒說出口的痛」
Spiral利用生成式AI摘要網路評論或是社群平台等多個管道的消費者回饋，不僅節省尋找和分析評論的時間，還能從消費者回饋中分析出「潛在的問題」，讓公司預先規劃日後的方向。
【Arm的AI世界】用Vela編譯器在Ethos-U NPU部署神經網路模型
為了因應這波邊緣與終端AI裝置浪潮，Arm特地設計了microNPU 機器學習(ML)處理器Ethos-U，為面積受限的嵌入式與物聯網裝置加速ML推論。要在Ethos-U上部署神經網路(NN)模型，第一步須使用Vela來編譯你已備妥的模型。Vela是一種開源Python工具，可以將神經網路模型最佳化為能在內含Ethos-U NPU的嵌入式系統上執行之特定版本；這篇文章將展示使用Vela編譯模型的工作流程。
改變你的社群網路體驗：Meta AI助理機器人
去(2023)年12月，Meta公佈了Meta AI的新功能，包括搜尋、協助回覆訊息，也推出專門生成圖片的網頁，本文將介紹這些功能。