作者
標題 Re: [新聞]不，你無法用 600 萬美元複製一個 DeepSee
時間 Wed Jan 29 15:33:28 2025
標題 Re: [新聞]不，你無法用 600 萬美元複製一個 DeepSee
時間 Wed Jan 29 15:33:28 2025
呃，這新聞是哪個平行時空新聞，當前一堆美國大學實驗室都已經成功用其他小型模型像ll
ama或Qwen 復刻R1實驗了，而且也事實證明模型只要有辦法再訓練的時候盡可能要求模型更
長更多輪的思考時間那就必然會讓模型依據上下文湧現出推理能力。無論模型大小或是否用
deepseek的模型架構。
ama或Qwen 復刻R1實驗了，而且也事實證明模型只要有辦法再訓練的時候盡可能要求模型更
長更多輪的思考時間那就必然會讓模型依據上下文湧現出推理能力。無論模型大小或是否用
deepseek的模型架構。
一堆知名的框架也開始嘗試復刻開源版的R1 Code，我覺得R1幾個比較可行的思路就是改用
了一些模板式的獎勵機制，這點是之前一些TTT或其他scaling time computing 沒嘗
試過的思路，一般像之前的Process reward model在構造的時候會需要人工標註加驗證器再
加樹搜索取樣出一堆推理步驟但R1直接給予一條很棒的思路就是你不必這樣做就直接RL下去
也不用做搜索了，關鍵在怎麼設計獎勵函數就好。然後GRPO的方法近一步減少了傳統PPO要
去算value function 的部分，確實省掉很多記憶體跟算力。但我覺得PPO的硬傷不好訓練還
是沒解掉，所以DS才改用拒絕採樣跟多段微調去弄檢查點避免模型跑偏。
加樹搜索取樣出一堆推理步驟但R1直接給予一條很棒的思路就是你不必這樣做就直接RL下去
也不用做搜索了，關鍵在怎麼設計獎勵函數就好。然後GRPO的方法近一步減少了傳統PPO要
去算value function 的部分，確實省掉很多記憶體跟算力。但我覺得PPO的硬傷不好訓練還
是沒解掉，所以DS才改用拒絕採樣跟多段微調去弄檢查點避免模型跑偏。
我覺得依據這個思路過不久大家都可以復刻出自己的版本，很多開源模型也在動作，小規模
驗證也證明可行，那就可以scaling model跟data size就好了。
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 59.115.66.147 (臺灣)
※ 作者: sxy67230 2025-01-29 15:33:28
※ 文章代碼(AID): #1dcTdAwa (Tech_Job)
※ 文章網址: https://www.ptt.cc/bbs/Tech_Job/M.1738136010.A.EA4.html
※ 同主題文章:
01-29 10:58
Re: [新聞]不，你無法用 600 萬美元複製一個 DeepSee
01-29 15:33
01-29 16:52
※ 編輯: sxy67230 (59.115.66.147 臺灣), 01/29/2025 15:34:33
談說o1是從4o調過來的（當前OpenAI最讓人詬病的就是o1連技術報告中的訓練方法都閉源）
，這點站在不錯的起點繼續做下去應該是整個LLM領域的共識，要完全從零是不太可能的。
不過你要說成本要從前一個模型開始算的那就不太合理了，像台灣很多實驗室自己調的語言
模型也是從llama這些基礎開始調的（你要用蒸餾說也沒什麼意見），這樣要把Meta訓練這
個模型的成本疊上去也是蠻怪的。但我這邊就單就R1的訓練方法討論確實他省去很多之前te
st time computing的方法中需要一堆人工跟算力搜索的麻煩這個倒是無需質疑。至於訓練
數據集沒開源，我覺得這個畢竟是人家的智慧財需要經過公司許可吧？畢竟llama也沒開源
自己全部的訓練數據要要求一家私企去做這件事有點太苛刻了。我的想法還是技術上DS確實
值得令人誇讚，其他的就讓子彈飛一點吧。畢竟工程人員還是講技術比較務實，人家優秀的
地方本來就值得學習。
需要有關鍵模型大量輸出統計證據，不然當前都是猜測而已。僅憑很多人隨意測試是很難說
是真的有蒸餾的，畢竟LLM其實真的有心是很容易用Prompt變造出惡意虛假事實的（像先催
眠模型是chatGPT，然後再問他是誰，然後把結果截圖），還是一句話，讓子彈再飛一會兒
。
※ 編輯: sxy67230 (223.118.50.65 香港), 01/30/2025 00:51:45
--
推 : 那些實驗不是復刻 只是在distill
真的要"復刻" 指的是在完全從零開始1F 103.224.201.110 台灣 01/29 15:45
真的要"復刻" 指的是在完全從零開始1F 103.224.201.110 台灣 01/29 15:45
噓 : 滿滿支語3F 101.10.44.11 台灣 01/29 15:45
→ : 的條件下 跟DS宣稱的成本相同下
復現出R1的結果
但首先DS沒公開他的訓練資料集
所以只能說小lab可以用他公布的模型做distill 配合他的方法做出不錯的模型而已
但如果只是這樣 4o實際上也是OAI
distill出來的 真正關鍵還是在
如何做出用來給其他模型distill的源模型 如果這個能用DS宣稱的算力條件做出 那就貢獻很大 也是最值得"復刻"的部分4F 103.224.201.110 台灣 01/29 15:45
R1的技術文件有如實說他們是從Deepseek v3調過來的吧，openAI也是有在某次技術人員訪復現出R1的結果
但首先DS沒公開他的訓練資料集
所以只能說小lab可以用他公布的模型做distill 配合他的方法做出不錯的模型而已
但如果只是這樣 4o實際上也是OAI
distill出來的 真正關鍵還是在
如何做出用來給其他模型distill的源模型 如果這個能用DS宣稱的算力條件做出 那就貢獻很大 也是最值得"復刻"的部分4F 103.224.201.110 台灣 01/29 15:45
談說o1是從4o調過來的（當前OpenAI最讓人詬病的就是o1連技術報告中的訓練方法都閉源）
，這點站在不錯的起點繼續做下去應該是整個LLM領域的共識，要完全從零是不太可能的。
不過你要說成本要從前一個模型開始算的那就不太合理了，像台灣很多實驗室自己調的語言
模型也是從llama這些基礎開始調的（你要用蒸餾說也沒什麼意見），這樣要把Meta訓練這
個模型的成本疊上去也是蠻怪的。但我這邊就單就R1的訓練方法討論確實他省去很多之前te
st time computing的方法中需要一堆人工跟算力搜索的麻煩這個倒是無需質疑。至於訓練
數據集沒開源，我覺得這個畢竟是人家的智慧財需要經過公司許可吧？畢竟llama也沒開源
自己全部的訓練數據要要求一家私企去做這件事有點太苛刻了。我的想法還是技術上DS確實
值得令人誇讚，其他的就讓子彈飛一點吧。畢竟工程人員還是講技術比較務實，人家優秀的
地方本來就值得學習。
推 : 3樓只會這招嗎16F 223.23.72.10 台灣 01/29 15:51
※ 編輯: sxy67230 (59.115.66.147 臺灣), 01/29/2025 16:11:25→ : 主要是訓練集沒公開就還是有點懸念畢竟連OAI之前o3那次math benchmarkcheat風波導致benchmark的可信度
變低許多 連OAI都會搞出這齣 一個急需注資和關注度new fund更有可能有貢獻是一定的 新方法在distill上有機會成為新baseline17F 103.224.201.110 台灣 01/29 16:14
變低許多 連OAI都會搞出這齣 一個急需注資和關注度new fund更有可能有貢獻是一定的 新方法在distill上有機會成為新baseline17F 103.224.201.110 台灣 01/29 16:14
推 : 幫補血24F 1.169.97.52 台灣 01/29 16:49
推 : 貼文的人寫了這麼多技術用語，結果某些人只會噓支語25F 103.135.144.19 香港 01/29 17:04
推 : 回文用中文的我都噓支語27F 111.249.68.207 台灣 01/29 17:58
推 : 感謝，讀了真的收益良多28F 180.218.44.106 台灣 01/29 18:29
推 : 傳聞它是蒸餾chat gpt 的基礎這是真的假的29F 114.42.230.28 台灣 01/29 18:30
→ : 這種事情應該很難知道了 但目前看起來他真的有提出一套有用的方法我覺得這是比較重要的31F 223.137.91.171 台灣 01/29 19:52
推 : 蒸餾要有模型 ChatGPT沒有公開34F 111.250.8.222 台灣 01/29 22:27
蒸餾不一定要有模型輸出完整機率分佈就是了，但是Deepseek真的有用GPT 4o或o1蒸餾還是需要有關鍵模型大量輸出統計證據，不然當前都是猜測而已。僅憑很多人隨意測試是很難說
是真的有蒸餾的，畢竟LLM其實真的有心是很容易用Prompt變造出惡意虛假事實的（像先催
眠模型是chatGPT，然後再問他是誰，然後把結果截圖），還是一句話，讓子彈再飛一會兒
。
※ 編輯: sxy67230 (223.118.50.65 香港), 01/30/2025 00:51:45
--
作者 sxy67230 的最新發文:
- 34F 8推 1噓
- 35F 8推 2噓
![]()
阿肥外商碼農阿肥啦！ 如果真的如三角所言，有輔導有調查沒發現說壞話的人，那理論上公司心輔員應該要推斷有 可能是思覺失調要求員工准假趕緊就醫吧？ 直接問家屬有沒有找到彭弟弟的就醫精神科的證明不然這種調 …49F 26推 1噓
點此顯示更多發文記錄