※ 本文轉寄自 ptt.cc 更新時間: 2025-03-18 22:36:15
看板 PC_Shopping
作者 標題 [請益] AI用卡請益
時間 Tue Mar 18 10:02:43 2025
大家早安大家好，最近在跑一些自用模型時，總發現顯卡的ram不夠用，有點換換病發作
，?
原設備：
CPU:12400
GPU:4070ti12g
RAM:32g
電供:850W
用途就是打打lol跟星海，蠻少玩大作的，螢幕還是1080P的，大概是沒什麼遊戲壓力。
因為有辦法跑中國保固，所以最近在看一些魔改類的。
便宜：
2080ti22g
優點：便宜，CP值高
缺點：舊、慢、缺了一些精度、礦、只保1年
3090 24g
優點：CP值高
缺點：熱爆、過保、礦
貴爛：
4090 48g
優點：BIOS直上，啥都不用改，保3年，強的要死
缺點：渦輪跟戰鬥機一樣吵(滿載60分貝)、商家可能跑路、窮、窮、窮
4090 24G
優點：強、原廠在顧
缺點：旁邊有個3年保的48G、買不到、跟48G差沒多少
5090 32G
優點：更強、原廠在顧
缺點：我買不到、窮、窮、窮、窮
好像現在比較好玩的就這幾張，如果發言很新手的話，沒錯，剛玩沒多久，也沒有什麼生
產
老黃就不能出一張RAM大一點的效能差一點的卡嗎@@
4070ti只有這個玩不了跟那個玩不了，另外想請教一下，這樣狗騎呂布應該不太影響玩AI
吧
謝謝大家
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 124.199.97.67 (臺灣)
※ 作者: capcomjohnny 2025-03-18 10:02:43
※ 文章代碼(AID): #1dsDH5Rb (PC_Shopping)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1742263365.A.6E5.html
→ : 等大船v1001F 114.33.180.131 台灣 03/18 10:07
好像...好像可以耶.不過這個能跑遊戲嗎→ : 超過16G都是貴啊 如果16G能跑2F 27.242.65.244 台灣 03/18 10:08
→ : 撿張4070TiS加減用吧
最終下下策→ : 撿張4070TiS加減用吧
推 : Project DIGIT / Mac Studio4F 39.15.72.200 台灣 03/18 10:12
一直有點好奇project digit的顯存到底多大，看不懂規格推 : 首推RTX PRO 60005F 36.239.205.209 台灣 03/18 10:18
把我賣掉也買不起啊推 : 寄去對面升級vram？6F 42.75.103.146 台灣 03/18 10:19
直接去對面買，這邊買去升級價差不大推 : 捏一下上50907F 211.72.124.232 台灣 03/18 10:25
11萬的還能想想，20萬的把我殺了推 : 能跑的都買不到，夢裡吧8F 42.74.227.121 台灣 03/18 10:32
睡覺睡覺※ 編輯: capcomjohnny (39.9.101.119 臺灣), 03/18/2025 10:36:54
推 : 我現在跑LLama3.3 70B是用4090+50909F 1.34.249.50 台灣 03/18 10:38
→ : 這樣所有的Layer都可以Load到GPU上
→ : Q4的Quantization，還有VRAM放Context
→ : 這樣所有的Layer都可以Load到GPU上
→ : Q4的Quantization，還有VRAM放Context
→ : 4090 48G捏下去最快 25K CNY12F 59.127.46.14 台灣 03/18 10:42
目前最大的vram了→ : 文字生成大概在15t/s13F 1.34.249.50 台灣 03/18 10:43
4090+5090太壕了→ : 以CP值來說最高還是二、三手的3090多張14F 1.34.249.50 台灣 03/18 10:44
→ : vram怎麼會不夠用呢，5070 12g都有人在15F 123.193.242.14 台灣 03/18 10:46
→ : 吹跑AI了
吹，往死裡吹→ : 吹跑AI了
→ : 4070tis跑gemma3:27b跟qwq:32b推理17F 111.82.150.36 台灣 03/18 10:54
→ : 結論：真心推薦直上5090
可惜買不到→ : 結論：真心推薦直上5090
→ : 忍不住就去買最新的全 vram 筆電吧...19F 140.112.30.188 台灣 03/18 11:07
→ : 但是全 vram 筆電可能無法滿足遊戲需求
→ : 不然就是 DRAM 拉到頂... 只拉得到 256G
全vram可能還不流行，剛剛爬了一下難道是在說project digit→ : 但是全 vram 筆電可能無法滿足遊戲需求
→ : 不然就是 DRAM 拉到頂... 只拉得到 256G
推 : fun科技有用兩張intel 77022F 61.71.225.88 台灣 03/18 11:20
→ : 能跟4090差不多
等等來看一下→ : 能跟4090差不多
推 : 32B的模型用12 16GB的顯卡應該是塞不進vram24F 112.78.74.181 台灣 03/18 11:31
推 : was25F 223.137.112.128 台灣 03/18 12:08
※ 編輯: capcomjohnny (1.172.131.51 臺灣), 03/18/2025 12:17:10→ : 不在乎速度的話，Ram上128G，用CPU跑，26F 61.219.215.24 台灣 03/18 12:32
→ : 可以用90B的模型
→ : 可以用90B的模型
→ : Project DIGIT / Mac Studio 都是統一記憶28F 39.12.136.242 台灣 03/18 12:52
→ : 體，ram=vram
噢噢噢原來是這個意思，那我這樣10萬買到128g的顯存他不香嗎？→ : 體，ram=vram
→ : 所以上網看不少人拿Mac Studio跑AI，CP值30F 39.12.136.242 台灣 03/18 12:52
→ : 很高
我連linux都不太會用QQ→ : 很高
→ : 我是在等Project DIGIT，希望上市時可以買32F 39.12.136.242 台灣 03/18 12:54
→ : 得到XD
→ : 得到XD
推 : 大船V100 32g也是貴到哭 看下來只有40934F 49.216.44.246 台灣 03/18 13:02
→ : 0 48gb有點搞頭 但還是超貴
→ : 4張3090除了超熱 電源穩定性也很不家
→ : 用
我可能一個迴路還會跳電→ : 0 48gb有點搞頭 但還是超貴
→ : 4張3090除了超熱 電源穩定性也很不家
→ : 用
→ : MAC跑AI看中國論壇跟reddit 說用開源40F 49.216.44.246 台灣 03/18 13:10
→ : 的project很不方便，現在還是cuda 當道
老黃獨佔→ : 的project很不方便，現在還是cuda 當道
→ : QQ42F 49.216.44.246 台灣 03/18 13:10
推 : intel 770玩星海跟lol沒有問題43F 61.71.225.88 台灣 03/18 13:38
推 : Mac我記得看測試速度跟顯卡比有落差44F 112.78.74.181 台灣 03/18 14:02
→ : 但還是屌打一般用cpu跑
→ : 還有超大ram可以跑比較大的模型
※ 編輯: capcomjohnny (39.9.101.119 臺灣), 03/18/2025 14:12:00→ : 但還是屌打一般用cpu跑
→ : 還有超大ram可以跑比較大的模型
推 : H10047F 122.99.40.82 台灣 03/18 14:30
推 : 有考慮撿二手3090嗎48F 110.28.2.154 台灣 03/18 14:56
推 : 看過討論m3 ultra 跑 AI 性能接近 30949F 39.15.72.200 台灣 03/18 15:22
→ : 0 把他當超大vram又省電的3090
→ : 0 把他當超大vram又省電的3090
推 : 心臟大就2080ti22g或是4090 48g,51F 36.229.236.216 台灣 03/18 15:41
→ : 貴是缺點的話m3 ultra也沒便宜多少吧
→ : 貴是缺點的話m3 ultra也沒便宜多少吧
推 : Arc A770 可以跑沒錯，前提是你會用53F 140.118.155.56 台灣 03/18 15:59
→ : 別看fun科技跑量化模型很輕鬆
→ : 基礎配置麻煩的很，那個教學完全是在繞路
→ : 裝ipex llm第一要件就是全用docker
→ : 然後要定頻，不然會發現token/s不如預期
→ : 別看fun科技跑量化模型很輕鬆
→ : 基礎配置麻煩的很，那個教學完全是在繞路
→ : 裝ipex llm第一要件就是全用docker
→ : 然後要定頻，不然會發現token/s不如預期
推 : 不管ram也好vram也好中間還有那才重點58F 1.162.121.228 台灣 03/18 16:17
推 : 可以直接4卡V100 16G阿 但整套要重弄59F 1.162.111.75 台灣 03/18 17:11
→ : V100 16G 好像850RMB吧
→ : V100 16G 好像850RMB吧
推 : mac最划61F 111.71.59.206 台灣 03/18 18:50
推 : 直接MacStudio頂規512G RAM可以跑600b62F 114.34.66.247 台灣 03/18 20:40
推 : 用過一陣子魔改2080ti 22G是真的超值63F 1.161.128.82 台灣 03/18 21:13
→ : 跑kohya_ss還可小贏4070ti
推 : 至於魔改4090 48G則是智商稅
→ : 捏多一點買6k Ada全新更有價值
→ : 跑kohya_ss還可小贏4070ti
推 : 至於魔改4090 48G則是智商稅
→ : 捏多一點買6k Ada全新更有價值
--
※ 看板: PC_Shopping 文章推薦值: 0 目前人氣: 0 累積人氣: 22
→
guest
回列表(←)
分享