作者
標題 [新聞]不，你無法用 600 萬美元複製一個 DeepSee
時間 Wed Jan 29 10:58:37 2025
標題 [新聞]不，你無法用 600 萬美元複製一個 DeepSee
時間 Wed Jan 29 10:58:37 2025
不，你無法用 600 萬美元複製一個 DeepSeek R1
https://technews.tw/2025/01/28/you-cannot-copy-deepseekr1-with-6m/
不，你無法用 600 萬美元複製一個 DeepSeek R1 | TechNews 科技新報
![[圖]]()
中國 AI 新創企業 DeepSeek 最新發布的 R1 模型震驚美國股市，關鍵在於其相對低廉的訓練成本，不過深入分析其過程就知道，並不是花 600 萬美元就能複製一個相同的模型。 無論華爾街玩的是什麼套路，DeepSeek R1 模型真正讓人驚歎的，是它極度便宜的訓練成本，根據 DeepSeek ...
![[圖]](https://img.technews.tw/wp-content/uploads/2025/01/28105612/enterpriseramainfeature.jpg)
中國 AI 新創企業 DeepSeek 最新發布的 R1 模型震驚美國股市，關鍵在於其相對低廉的
訓練成本，不過深入分析其過程就知道，並不是花 600 萬美元就能複製一個相同的模型
。
訓練成本，不過深入分析其過程就知道，並不是花 600 萬美元就能複製一個相同的模型
。
無論華爾街玩的是什麼套路，DeepSeek R1 模型真正讓人驚歎的，是它極度便宜的訓練成
本，根據 DeepSeek 宣稱，訓練成本僅 557.6 萬美元，幾乎是其他科技巨頭大型語言模
型的十分之一成本，這個費用也差不多是一位 AI 主管的年薪而已。
本，根據 DeepSeek 宣稱，訓練成本僅 557.6 萬美元，幾乎是其他科技巨頭大型語言模
型的十分之一成本，這個費用也差不多是一位 AI 主管的年薪而已。
這個驚人的宣示實際上未必如此驚天動地，我們需要一步步拆解他們的模型訓練方式，就
能了解其中奧妙。
首先，DeepSeek 和 R1 模型並非一步登天，R1 模型的訓練費用其實和去年底發佈的 V3
模型相同，而 V3 模型中的多數功能又和 2024 年初發佈的 V2 模型共用。
在 V2 模型裡，他們導入了兩個重要的元件：DeepSeekMoE 和 DeepSeekMLA，前者代表了
多重專家混合（Mixture of Experts），和 ChatGPT4 一樣，他們將訓練出的 AI 分為多
種專家，根據對話內容調用合適領域的專家，以達成更精準而高效率的回應。後者則是多
頭潛在注意力機制（Multi-Head Latent Attention），在 AI 對話中，需要載入模型和
文本，每個 token 需要對應的 key 和 value，MLA 則能夠壓縮 value 的儲存空間，進
而減少記憶體需求。
多重專家混合（Mixture of Experts），和 ChatGPT4 一樣，他們將訓練出的 AI 分為多
種專家，根據對話內容調用合適領域的專家，以達成更精準而高效率的回應。後者則是多
頭潛在注意力機制（Multi-Head Latent Attention），在 AI 對話中，需要載入模型和
文本，每個 token 需要對應的 key 和 value，MLA 則能夠壓縮 value 的儲存空間，進
而減少記憶體需求。
https://is.gd/gzBeWB
![[圖]](https://img.technews.tw/wp-content/uploads/2025/01/28105814/deepseek-r1-module.jpeg)
▲DeepSeek V3 模型架構圖。（Source：Github）
到了 V3 模型，他們再根據以上基礎，導入負載平衡和多重 token 預測機制，進一步提
升訓練效率，根據 DeepSeek 宣稱，訓練 V3 模型總共使用 278.8 萬 H800 GPU 工時，
依每工時 2 美元推算，整體訓練成本就是 557.6 萬美元。
升訓練效率，根據 DeepSeek 宣稱，訓練 V3 模型總共使用 278.8 萬 H800 GPU 工時，
依每工時 2 美元推算，整體訓練成本就是 557.6 萬美元。
而 R1 模型的訓練成本據稱與 V3 模型相同，換言之，想要做出 R1 模型，並不是拿
H800 跑 280 萬個工時就能做出來，還必須有前置研究、反覆實驗和前置演算法架構。
相反地，從目前實測結果來看 DeepSeek R1 的表現與 ChatGPT O1 確實不相上下，甚至
有自己的優勢，既然 DeepSeek 是開源架構，就代表其他科技巨頭可以用相似的模組，投
入上百萬或上千萬個更高階的 H100 GPU 工時去訓練模組，如此則能獲得十倍於
相反地，從目前實測結果來看 DeepSeek R1 的表現與 ChatGPT O1 確實不相上下，甚至
有自己的優勢，既然 DeepSeek 是開源架構，就代表其他科技巨頭可以用相似的模組，投
入上百萬或上千萬個更高階的 H100 GPU 工時去訓練模組，如此則能獲得十倍於
DeepSeek R1 的成果。
從這個角度來看，你覺得 NVIDIA 有什麼好緊張的嗎？
--
推 :不爽可以當禽獸 五樓是禽獸!!
蓋
蓋
蓋10/04 22:12
蓋
蓋
蓋10/04 22:12
→ :我是禽獸 我真爽 我在騎1樓10/04 22:13
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.26.136.149 (臺灣)
※ 作者: pl132 2025-01-29 10:58:37
※ 文章代碼(AID): #1dcPbgyH (Tech_Job)
※ 文章網址: https://www.ptt.cc/bbs/Tech_Job/M.1738119530.A.F11.html
※ 同主題文章:
[新聞]不，你無法用 600 萬美元複製一個 DeepSeek R1
01-29 10:58
01-29 15:33
01-29 16:52
推 : 如果成本這麼低
全世界的核電廠也該關閉了
中國拉一根暗管，偷接OpenAI 、Gemini ，資料還會回傳中國！1F 112.78.81.247 台灣 01/29 10:59
全世界的核電廠也該關閉了
中國拉一根暗管，偷接OpenAI 、Gemini ，資料還會回傳中國！1F 112.78.81.247 台灣 01/29 10:59
→ : 台灣已經關了阿 你質疑台灣政府?5F 36.227.83.81 台灣 01/29 11:11
推 : DeepSeek有5萬個H100，礙於禁令不能明言6F 61.228.165.120 台灣 01/29 11:27
→ : 世界怎麼跟得上台灣？終於跟上了8F 219.70.152.87 台灣 01/29 11:47
推 : 又不是只有訓練AI要用電，現在一堆雲端服務算力主機在做其他應用產品幾年前那些大數據資料中心越存越多累積下去能源需求只會擴張而已9F 1.169.73.118 台灣 01/29 12:27
推 : 一看就知道中國在騙人 多呆才相信13F 61.227.212.152 台灣 01/29 12:42
噓 : 最大的優勢就是會幫忙言論審查…厲害厲害！14F 114.24.100.161 台灣 01/29 12:48
推 : 前天吹deep search 的帳號今天都躲起來不見了16F 118.171.11.104 台灣 01/29 13:00
推 : DS厲害的是晶片不用算入成本，無敵18F 111.252.83.115 台灣 01/29 13:13
推 : 十倍工時 = 十倍成果 笑了19F 1.200.246.84 台灣 01/29 13:19
推 : 問就是繼續買進20F 49.217.130.119 台灣 01/29 13:53
推 : 這整個成本什麼時候audit報告會出來？21F 100.8.245.106 美國 01/29 14:05
→ : 有夠lag，berkley實驗室
已經用30美元複製成果了還在洗23F 101.9.131.231 台灣 01/29 14:17
已經用30美元複製成果了還在洗23F 101.9.131.231 台灣 01/29 14:17
噓 : 糾結在成本怎麼算沒太大意義25F 36.229.59.188 台灣 01/29 14:24
推 : 成本也許誇大 但從結果論看並不是全假26F 125.224.210.22 台灣 01/29 14:53
噓 : 「並不是拿 H800 跑 280 萬個工時就能做出來，還必須有前置研究、反覆實驗和前置演算法架構」這段到底在公殺小，阿人家研究跟架構都開源了，GPT那種閉源的才是無法複製吧還在提晶片價格的也是頗ㄏ 租房跟買房搞不清楚28F 180.217.192.111 台灣 01/29 15:03
推 : MOE的e不用先訓練喔35F 36.230.44.78 台灣 01/29 15:09
噓 : 開源的優勢屌打那些貴森森的商用的36F 116.241.209.33 台灣 01/29 15:27
→ : 這樣講這不就代表中國的AI研究實力更強嗎37F 42.79.160.68 台灣 01/29 15:38
推 : 坐等GAI卷到免費 支那加油好嗎39F 150.117.201.51 台灣 01/29 15:59
推 : 哇終於有人承認模型更好了40F 123.204.137.86 台灣 01/29 16:09
推 : 有部分理工男對核電跟中國特別有感覺柯柯41F 49.216.129.35 台灣 01/29 16:38
→ : https://i.imgur.com/lZuXZhu.jpeg你各位啊~不要再傳啦！
今天用電佔比：
再生能源45%是核電4.3%的十多倍43F 101.10.44.11 台灣 01/29 16:53
今天用電佔比：
再生能源45%是核電4.3%的十多倍43F 101.10.44.11 台灣 01/29 16:53
![[圖]](https://i.imgur.com/lZuXZhuh.jpeg)
推 : 中國講的數字你也信？47F 1.146.134.27 澳大利亞 01/29 17:03
→ : 訓練自己的AI出來 發大財48F 223.139.131.221 台灣 01/29 17:10
噓 : 有關中國跟共產黨的話題會沒有答案，共產黨的人工智慧49F 1.200.140.93 台灣 01/29 17:17
→ : 在想本板文組是不是有點多啊51F 111.250.18.76 台灣 01/29 17:30
推 : 越卷越好，坐等 gpt免費 嘻嘻52F 111.254.15.138 台灣 01/29 17:43
→ : 如果結果只是演算法上的問題
而不是工具上的限制
美國AI大戰等著敗
1億人拼不過14億人53F 114.174.185.237 日本 01/29 18:21
而不是工具上的限制
美國AI大戰等著敗
1億人拼不過14億人53F 114.174.185.237 日本 01/29 18:21
推 : 確實 最後一段跟我想法一致57F 42.72.87.167 台灣 01/29 19:19
推 : 連美國人口多少都錯的離譜58F 61.228.165.120 台灣 01/29 20:04
→ : LLM都還在吃2017 Transformer老本59F 42.71.91.63 台灣 01/30 05:46
推 : 同意51樓，真的有人以為要達到人腦思考只有架構問題，一堆文組60F 42.77.24.135 台灣 01/30 10:02
--
作者 pl132 的最新發文:
- 61F 20推 5噓
- 31F 7推 19噓
- 13F 4推 1噓
- 36F 13推 12噓
- 《宇宙機器人》又拿一座年度最佳遊戲，美國任天堂前總裁：「幾乎快打敗任天堂了！」 由 Team Asobi 推出，PlayStation 旗下的第一方平台跳躍遊戲《宇宙機器人》在已經過 去的 2024 …79F 39推 2噓
點此顯示更多發文記錄