利用Ollama速成本機端LLM大對話應用
愈來愈多輕量版的LLM登場,開始能夠在一般電腦上安裝使用,如NVIDIA Chat with RTX、AMD LLM Studio等。本文將介紹如何一步步使用Ollama來超快速的實現本機端LLM。
2GB、50美元!第五代樹莓派降規降價
市場需要夠便宜入手的單板電腦,規格與效能不一定要高,因此,2024年8月有了2GB RAM記憶體版本的Raspberry Pi 5,入門價再降10美元,變成50美元就能入手。
【Crowd Funding】具有 AI 加速器的強大 5G 單板電腦 – Tachyon
Particle公司推出一片名為Tachyon的單板電腦,上頭就直接內建5G、硬體AI加速,這是因為該板使用Qualcomm的Snapdragon QCM6490晶片,晶片內已有5G通訊、NPU硬體AI加速等,還有8核心CPU、GPU、Wi-Fi 6E等功能。
5美元官方售價不變!更強大的第二代Raspberry Pi Pico登場
Raspberry Pi近期基金會發表了新款獨家晶片RP2350,同時搭配推出使用該晶片的官方新板卡Raspberry Pi Pico 2,且這次有更多板卡商響應推出使用Raspberry Pi獨家晶片的板卡,甚至有軟體大廠加入響應!本篇文章會針對第二代Raspberry Pi Pico進行簡單的介紹。
Mbed OS即將凍結!轉向融入開放專案Zephyr OS
最近創客(Maker)圈極轟動的消息是Arm宣佈Mebd OS將停止發展,後續將轉向Zephyr專案。這乍聽是個受挫消息,但自筆者的角度看這是合理且對各方均有利的新發展,請見本文剖析。
【產業觀察】大廠、新創競逐小型語言模型(SLM)技術市場
生成式AI運算量龐大,若用運算力小的系統來執行LLM/GenAI要很久才能回應,因此各界開始嘗試將模型縮小,在可接受的準確性犧牲下將模型減肥、輕量化,稱為小語言模型:SLM。