作者：陸向陽
圖1 把AI模型、推論引擎用FPGA晶片的電路實現，免CPU與OS也能跑AI（圖片來源：Zakriya Paracha）
最近AMD購併加拿大晶片新創商Taalas，該公司的強項是把AI模型直接用光罩蝕刻成晶片電路，如此AI推論將極為快速省電，缺點是極缺乏彈性，模型修改程度大一些，就得重新開光罩重新生產晶片。
而Maker圈反其道而行，開光罩最沒電路彈性，而使用FPGA則最具電路彈性，Zakriya Paracha用一片具有Artix-7 FPGA的Digilent Basys 3開發板來跑神經網路模型，如此可以完全不用CPU、OS下來跑。
Paracha用MNIST的資料集（或稱數據集）以及PyTorch來訓練模型，模型可以識別28 x 28解析度的圖片，並有32層隱藏層，能識別0～9的阿拉伯數字筆跡，訓練出的模型具有25,888個權重參數。
Paracha進一步把浮點數的權重值量化成8-bit整數，如此模型容量從98KB降成25KB，而識別精準性只下降0.18%，再透過壓縮，把這個模型放到Artix-7內的RAM記憶體內。在AI推論上Paracha自己用Verilog寫了一套數位邏輯電路來跑模型。
接著把開發板接上影像感測器（攝影機）OV7670，影像資料沒有透過MCU晶片或USB介面，直接傳入FPGA內，FPGA會把影像轉成灰階、進行尺寸裁剪，使其變成28 x 28解析度，從而判定是0～9的哪一個數字，並給出信心值，數字跟信心會用開發板上的七段顯示器來顯示，推論一次只要0.5mS時間。
老伺服器跑LLM
圖2 Maker用約600美元購得二手伺服器來跑LLM（圖片來源：MattMo）
28 x 28手寫筆跡識別明顯是特技，另一個特技是用老伺服器跑AI，YouTube上的MattMo花260美元買一台2012年的Dell PowerEdge R720伺服器，然後花288美元買384GB的DDR3 1333記憶體（24條，每條16GB）。其他規格包含買伺服器就有2顆Xeon E5-2660 v2 CPU，1TB Samsung企業級SSD，Debian 13 OS等。
MattMo用llama.cpp來跑LLM，他跑了幾個知名模型，包含GLM 5.3 Flash、Qwen 3.8 Dense、Qwen3.8 8B Flash等，可以跑但奇慢無比，GLM 5.3 Flash每秒只能產出4個Token，即4TPS（Token Per Second），跑完一個任務要2分35秒，另兩個模型更久，分別要6分18秒、7分32秒。
很明顯這也是個特技，沒有人可以等這麼久才得到AI的答覆，不過整套系統僅600美元左右是個亮點。MattMo為了讓它更實用，後續考慮使用比較快速、省電的MoE架構模型，而且伺服器上還有PCIe擴充槽，往後可以為其添加AI硬體加速卡。
Claude傳呼機
知道傳呼機（Pager，俗稱BB Call）這種電子裝置的人應該都有些年紀了，創客JeanDeBaill用Heltec的Vision Master E290開發板（或稱模組）為主體來打造Claude傳呼機。
圖3 Claude傳呼機外觀圖（圖片來源：JeanDeBaill）
E290開發板的主控晶片ESP32-S3R8，配有2.9吋E Ink電子紙顯示器，解析度296 x 128，以及鋰電池，只要再設計一下外殼並用3D列印，Claude傳呼機的硬體面就幾乎完成。
接著是運作流程，首先Claude傳呼機接收使用者的發話，然後把語音透過Wi-Fi（也可能是BLE）傳遞到雲端，而後在GroqCloud上使用Whisper的聲音轉文字功能，把發話轉成文字，而後再透過API呼叫方式把文字傳遞給Claude Haiku 4.5模型。
模型的回覆也為文字型態，再透過同樣的程序反向走，最後在Claude傳呼機上用E Ink電子紙顯示器顯示出文字，或者是用語音播放出來。目前Claude傳呼機只是初步發展，最終目標是可以語音發話，最後傳遞給Claude Code，完全用發話方式來撰寫程式。
嚴格來說，這只是裝置本身的大小類同於過往的傳呼機，但功效上已不是傳呼機，而是一個可以用語音向雲端LLM發問，而後LLM的答覆會在電子紙顯示器上以文字顯示的口袋型隨身電子裝置。
另外，E290上其實也有LoRa（SX1262模組）可用，但傳輸率最高300kbps（FSK模式），雖然一般而言語音傳輸只要64kbps，但LoRa通常只有50kbps以下的實質傳輸率，不適合用來傳遞即時語音，並且用戶要自己配套架設LoRa閘道器。
最後，筆者也查了一下Groq上的Whisper如何收費？有whisper-large-v3與whisper-large-v3-turbo可選，後者比較便宜，每小時0.04美元，但錯誤率較高，前者則是進一步微調的版本，每小時0.111美元，錯誤率較低，且可進一步支援翻譯功能。
至於Claude Haiku 4.5（2025年10月發佈）是封閉的模型，不能自己下載架設離線版，但除了開發模型的官方Anthropic自己提供服務外，也是有授權其他雲端服務商可提供服務，如Amazon Bedrock、Google Cloud Vertex AI、Microsoft Foundry等。
（責任編輯：謝嘉洵。）
- 創客AI特技：免CPU與OS跑神經網路、老伺服器跑LLM、Claude傳呼機 - 2026/10/06
- 創客AI特技：10美元MCU跑LLM、用Tiny LLM跑虛擬水族箱 - 2026/10/02
- Vibe Coding正在與創客雙向激盪 - 2026/09/03
訂閱MakerPRO知識充電報
與40000位開發者一同掌握科技創新的技術資訊！
