回看板
Disp BBS
作者 iammatrix (母體)
標題 Re: [菜單] 10K以內AI機
時間 Sun Jul 20 10:28:08 2025

※ 引述《museangel (敲敲)》之銘言：
: https://www.reddit.com/r/LocalLLaMA/comments/1ke3heg/how_is_your_experience_with
: _qwen3_so_far/
: 我看到reddit的上面這篇文，想借這串原文問個問題，
: 這幾天開源的llm qwen3-235b-a22b，
: 是不是真的也可以靠cpu跟128gb的ram跑起來，而且速度不算慢、效果也還不錯了？
: 一般這種上百b等級的llm，用一般消費級gpu就算5090也裝不下。如果用cpu跟ram，成本倒
: 是可以壓低得多，而且還有比較大的沿用性，不會像gpu每兩年換代折舊不少。
: 我平常只用gpu跑，沒試過cpu+ram，有沒有前輩有相關經驗，文章裡說到的這種cpu+ram的
: 跑法有沒有什麼地雷？

https://www.youtube.com/watch?v=1N6a46QqdhI

斯波圖最新影片有測試過了，用的是AMD AI MAX+ 395 的小型桌面機
相當的不錯，等於是建構了一個本地AI，有著無限TOKEN。

他把QWEN3的80G模型直接丟給主機的NPU+RAM去跑 全本地的運算
也不影響日常的工作，還能夠分派多重腳色給AI去幫忙執行計畫

https://www.gmktec.cn/product/5656/
GMK EVO-X2 – GMK极摩客官方网站

 
最高可以運算96G的模型，主機最高125G 有著約90%左右的9950X性能
價格就超出預算，14999RMB，包含128G+2T SSD，比一張5090便宜就是。

https://www.youtube.com/watch?v=-1kuUqp1X2I
其他也有類似的產品 這台便宜些。

感覺工作上有大量需求+建構本地AI 需要隱私不連網的
這個應該是目前不買老黃顯卡的最優解了

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.171.35.19 (臺灣)
※ 作者: iammatrix 2025-07-20 10:28:08
※ 文章代碼(AID): #1eV5GysL (PC_Shopping)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1752978492.A.D95.html
推 kuninaka: 14999還好，這是整台主機的價格 XD1F 1.173.191.153 台灣 07/20 11:04
推 lordmi: 395發售之後這種設計很多，可以多比價。前面有一篇半DIY花費就壓在12k rmb。不過老實說，395套裝適合玩玩或者學校採購，到商用場景還是不上不下有很多限制2F 223.137.179.247 台灣 07/20 11:15
推 kuninaka: 要商用當然很難XD6F 1.173.191.153 台灣 07/20 11:23
推 kime5412: 不是「80G」模型，是「80億（8b)」，但是說真的8b模型拿來聊天、總結文章還算堪用，真的不能期待更多了7F 223.138.201.224 台灣 07/20 11:49
→ iammatrix: 不是8B吧? 8B還吃不到20GB10F 118.171.35.19 台灣 07/20 12:04
推 Supasizeit: 無限token 是三小11F 203.204.195.174 台灣 07/20 13:28

--
作者 iammatrix 的最新發文:
點此顯示更多發文記錄