※ 本文轉寄自 ptt.cc 更新時間: 2025-02-13 09:51:11
看板 PC_Shopping
作者 標題 [菜單] DeepSeek 671b大模型推理機
時間 Wed Feb 12 20:25:00 2025
已買/未買/已付訂金（元）：未買
預算/用途：用來跑DeepSeek 671b大模型推論機。模型大小404GB，需要全部載入DDR上用
CPU來算
CPU (中央處理器)： 全新 EPYC 7K62 48核心96線程 2.6G 正式版 $7500
MB (主機板)： 超微H11SSL-i 二手 ＄8900
RAM (記憶體)： 三星DDR4 ECC REG 64G 2666 x 8 $1600x8 = $12800
VGA (顯示卡)： 舊EVGA 3060 12G(已有)
Cooler (散熱器)： 6熱管金錢豹AMD epyc 散熱器 $850
SSD (固態硬碟)： KIOXIA 鎧俠 Exceria G2 2TB M.2 2280 PCIe 3.0 ssd $3590
HDD (硬碟)：
PSU (電源供應器)： 台達 金牌全模組650W $2890
CHASSIS (機殼)：
MONITOR (螢幕)：
Mouse/KB (鼠鍵)：
OS (作業系統)： Ubuntu
其它 (自填)：
總價 (未稅/含稅)：$36530
CPU 主機板、DRAM在洶寶買。
是否有更好選擇
謝謝
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.226.75.31 (臺灣)
※ 作者: xiemark 2025-02-12 20:25:00
※ 文章代碼(AID): #1dh9CV1J (PC_Shopping)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1739363103.A.053.html
推 : 洶寶<31F 220.141.227.192 台灣 02/12 20:28
→ : H11SSL-I只有PCI-E 3.0，你要確定耶，3F 114.34.174.204 台灣 02/12 20:45
→ : 還有沒有支援Resizable BAR，這H12才有
→ : 還有沒有支援Resizable BAR，這H12才有
→ : 只用cpu跑，pcie沒關係5F 36.226.75.31 台灣 02/12 20:47
推 : 這一問一答要多久啊6F 203.204.195.174 台灣 02/12 20:58
推 : 要本地部署嗎？7F 111.71.19.118 台灣 02/12 21:08
→ : 我是覺得個人玩家直接用線上的就好，
→ : 自由度也高
→ : 我是覺得個人玩家直接用線上的就好，
→ : 自由度也高
推 : 這速度大概跟macmini跑速度差不多10F 114.40.170.168 台灣 02/12 21:24
DeepSeek-R1 671B: Complete Hardware Requirements - DEV Community
![[圖]]()
Overview DeepSeek-R1 is a state-of-the-art large language model developed by the Chinese... ...
![[圖]](https://media2.dev.to/dynamic/image/width=1000,height=500,fit=cover,gravity=auto,format=auto/https%3A%2F%2Fdev-to-uploads.s3.amazonaws.com%2Fuploads%2Farticles%2Fwecjo7ewdqgo2dgjy9bc.png)
→ : 他是vram不是ram13F 36.235.228.45 台灣 02/12 21:28
→ : 我記得H100要好幾張14F 114.42.66.181 台灣 02/12 21:29
→ : h100要8張，買不起。15F 36.226.75.31 台灣 02/12 21:34
推 : 肯定是淘寶或小黃魚買16F 114.33.180.131 台灣 02/12 21:34
推 : 用unsloth處理過只需要不到200G17F 220.132.247.29 台灣 02/12 21:35
→ : 我是用Z840，128G一萬多而已，再加
→ : 我是用Z840，128G一萬多而已，再加
→ : 線上一直斷線，根本不能用19F 36.239.110.87 台灣 02/12 21:37
→ : SSD、RAM、GPU20F 220.132.247.29 台灣 02/12 21:37
→ : 你串MAC MINI會不會比較快？21F 36.239.110.87 台灣 02/12 21:37
噓 : 荒唐22F 114.35.216.206 台灣 02/12 21:37
→ : 不過顯卡不延長只能插一張23F 220.132.247.29 台灣 02/12 21:43
→ : deepseek 用CPU跑效率好嗎?24F 175.181.152.51 台灣 02/12 22:12
→ : 671b應該不太好，unsloth動態量化後25F 220.132.247.29 台灣 02/12 22:39
→ : 還可以，但是會有非預期EOF問題
→ : 還可以，但是會有非預期EOF問題
→ : 哇....@@27F 36.225.75.10 台灣 02/12 22:41
→ : 老黃下巴掉了28F 1.161.173.221 台灣 02/12 22:44
推 : 我還是選擇api就好29F 111.246.98.177 台灣 02/12 22:48
推 : 這不會慢死嗎?30F 111.255.254.9 台灣 02/12 22:49
→ : https://tinyurl.com/muttrn8d31F 106.104.71.59 台灣 02/12 23:12
→ : KTransformers可以參考一下
→ : 用GPU加速的純CPU方案
→ : KTransformers可以參考一下
→ : 用GPU加速的純CPU方案
GitHub - kvcache-ai/ktransformers: A Flexible Framework for Experiencing Cutting-edge LLM Inference Optimizations
![[圖]]()
A Flexible Framework for Experiencing Cutting-edge LLM Inference Optimizations - kvcache-ai/ktransformers ...
推 : 最大的參數量拿單機去跑很慢拉34F 114.44.18.56 台灣 02/12 23:18
→ : 哈哈哈哈哈哈35F 122.100.112.197 台灣 02/12 23:21
推 : 期待原po未來分享用cpu跑671b的效率36F 1.200.145.97 台灣 02/12 23:29
→ : 老哥 買顯卡跑蒸餾完的不就好了37F 218.161.27.73 台灣 02/12 23:34
→ : 收張3090跑32b就好38F 42.77.54.183 台灣 02/12 23:50
推 : 每天睡覺前問問題, 睡醒看回答嗎 XD39F 114.32.5.184 台灣 02/12 23:54
→ : 已讀不回AI模擬機40F 61.230.111.115 台灣 02/12 23:56
推 : 線上跑就好了，不用蝦折騰41F 101.10.6.16 台灣 02/13 00:01
→ : 笑了42F 123.193.249.242 台灣 02/13 00:02
→ : 可以用袐塔43F 111.241.83.149 台灣 02/13 00:49
推 : 什麼鬼 這樣要跑多久？44F 36.234.197.247 台灣 02/13 00:53
噓 : ？？？？？？45F 12.226.201.122 美國 02/13 01:11
推 : 有人也是epyc+ddr4，可跑3~4token/s46F 111.251.204.95 台灣 02/13 01:21
→ : 比拿ssd跑快多了
→ : 比拿ssd跑快多了
推 : 先試試api吧!48F 150.116.129.113 台灣 02/13 01:36
推 : 蠻好奇這樣可以跑多快49F 218.164.157.191 台灣 02/13 02:24
推 : 跑7B還行，想跑671B?50F 1.169.201.211 台灣 02/13 03:07
推 : 推實驗精神，bilibili 有用transformer51F 101.12.19.79 台灣 02/13 03:52
→ : s 跑6.6 tokens/s
→ : Ktransformers
→ : s 跑6.6 tokens/s
→ : Ktransformers
推 : 要怎麼看自己電腦的token數啊？54F 220.132.77.49 台灣 02/13 05:44
→ : deepseek動不動就過宅，是要怎麼用線上的55F 1.165.9.178 台灣 02/13 06:31
→ : 3060我看對岸是說大約每秒10 tokens
→ : 3060我看對岸是說大約每秒10 tokens
→ : 現在可以在3060上跑14b, 速度很好。用cpu57F 1.200.242.89 台灣 02/13 06:53
→ : , 可跑32b速度可以接受。
→ : 但是還是要用cpu 跑671b, 測試。
→ : 訓練ai確實一定要用gpu, 因為都是用fp32
→ : 或fp16來算。但推論都是經過量化的，多
→ : 以int8來算，cpu不見得不好
→ : 上面有人提到ktransformer, 也要先建一個
→ : 至少512gb dram的平台，再用4090加速
→ : 這次先讓它能跑起來就好了
→ : , 可跑32b速度可以接受。
→ : 但是還是要用cpu 跑671b, 測試。
→ : 訓練ai確實一定要用gpu, 因為都是用fp32
→ : 或fp16來算。但推論都是經過量化的，多
→ : 以int8來算，cpu不見得不好
→ : 上面有人提到ktransformer, 也要先建一個
→ : 至少512gb dram的平台，再用4090加速
→ : 這次先讓它能跑起來就好了
→ : 太貴。e5 26xxv4 x2 不過應該都被炒起來了66F 111.255.92.61 台灣 02/13 08:05
--
※ 看板: PC_Shopping 文章推薦值: 0 目前人氣: 0 累積人氣: 61
作者 xiemark 的最新發文:
![]()
已買/未買/已付訂金（元）：未買 預算/用途：用來跑DeepSeek 671b大模型推論機。模型大小404GB，需要全部載入DDR上用 CPU來算 CPU (中央處理器)： 全新 EPYC 7K62 …67F 21推 2噓- 22F 4推 1噓
- 24F 5推 2噓
- 27F 11推 7噓
- 17F 6推 1噓
點此顯示更多發文記錄
→
guest
回列表(←)
分享