※ 本文轉寄自 ptt.cc 更新時間: 2025-01-30 08:51:15
看板 Stock
作者 標題 Re: [新聞] OpenAI：已掌握DeepSeek盜用模型證據
時間 Wed Jan 29 23:20:33 2025
※ 引述《mangle (mangle123)》之銘言：
: 比較好奇這段：
: 儘管蒸餾是AI業界常見做法，但DeepSeek若利用蒸餾技術來打造自家模型，並與OpenAI競 爭，將違反OpenAI服務條款，因此產生疑慮。
: OpenAI的服務，或是「利用輸出結果，來開發與OpenAI競爭的模型」。
: 各個ai 大語言模型不是都會互相參照比較和訓練嗎？ 我以為這是業界常識…
: 不過要怎麼定義「與openai 競爭的模型」？ 因為deepseek 也沒盈利而且也開源學習，他也承認他不只從chatgpt訓練也參照不少，deep seek 也認為自己是chatgpt
: 所以是真有盜竊疑慮，還是業界常識的互相學習使用？ 如何定義這部分
各家互相參考, 指的是訓練方法還有訓練的文本挑選, 蒸餾不太一樣
AI = 模型的程式碼+訓練
能開源的部分只有程式碼, 訓練是看各自調教
模型的能力夠, 差不多的調教方式就會得到差不多的結果
訓練方法更好, 或是文本品質越高、越多樣、量越多, 模型就越強
自從OpenAI爆紅以來, 大公司的LLM模型都是遵循OpenAI的訓練方法
預先訓練: 拿大量文本讓AI模型學習基本語言能力、基本知識
自從OpenAI爆紅以來, 大公司的LLM模型都是遵循OpenAI的訓練方法
預先訓練: 拿大量文本讓AI模型學習基本語言能力、基本知識
監督微調: 有了基本能力之後, 模型開始有推理能力
這時候由人類介入, 告訴模型怎麼想是對的, 怎麼想是錯的
之前所謂的貼標籤, 就是這個階段
獎勵建模: 把對錯的判斷建立模型, AI想對了, 這個模型就獎勵他
強化學習: AI自己跟自己練習
不管是meta還是google, 之前都是照OpenAI這個成功模式做
所以這些公司能做的就是拚算力, 透過更大量的訓練, 希望最終可以暴力超車
但蒸餾就不同, 蒸餾是直接拿另一個模型的推理結果, 讓另一個模型照著得到同樣結果
譬如我要我剛剛問ChatGPT, 要他給舉例說明什麼是擬人法
他的回答是這樣
https://i.imgur.com/ey5mX61.png
![[圖]](https://imgur.disp.cc/43/ey5mX61.png)
ChatGPT要回答這個問題, 中間要經過很多推理, 譬如他要先理解我的問題
這裡面就牽涉到, 他要理解我講的擬人法是修辭當中的擬人法
然後再從這一個理解, 去思考擬人法的意思是甚麼, 最後再想出一個符合範例
蒸餾的話, 就是學生模型已經預先知道這個問題的答案是甚麼
有頭有尾, 要生出中間的推理就會比較容易
但這裡有個問題
你要用蒸餾讓一個模型得到另一個模型類似的能力
通常就是需要老師模型產生極大量的練習後結果
才能傳授畢生功力給學生模型
如果ChatGPT是開源模型, 可以自己部署在自己平台上
要做這樣大規模訓練是有可能
但ChatGPT無法部署在自己平台
(剛剛有人說ChatGPT 2可以, 但蒸餾頂多只能逼近老師, 用ChatGPT 2只能蒸出垃圾)
所以要做蒸餾只能透過API, 而要透過API做幾千萬甚至幾億規模的蒸餾訓練
這難度極高啊....
(ChatGPT剛剛教我另一個方法
就是拿一個原本就有ChatGPT4能力的模型
這樣只要少量訓練, 就能超越ChatGPT 4
但原本就有ChatGPT 4能力的新模型難道自己會生出來嗎XD
你還是得先得到這個模型啊...就是V3
那V3怎麼來?)
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.169.68.61 (臺灣)
※ 作者: IBIZA 2025-01-29 23:20:33
※ 文章代碼(AID): #1dcaT31B (Stock)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1738164035.A.04B.html
※ 同主題文章:
01-29 21:37 ■ [新聞] OpenAI：已掌握DeepSeek盜用模型證據
01-29 21:38 ■ Re: [新聞] OpenAI：已掌握DeepSeek盜用模型證據
01-29 22:38 ■ Re: [新聞] OpenAI：已掌握DeepSeek盜用模型證據
● 01-29 23:20 ■ Re: [新聞] OpenAI：已掌握DeepSeek盜用模型證據
01-30 02:44 ■ Re: [新聞] OpenAI：已掌握DeepSeek盜用模型證據
01-30 07:26 ■ Re: [新聞] OpenAI：已掌握DeepSeek盜用模型證據
01-30 08:59 ■ Re: [新聞] OpenAI：已掌握DeepSeek盜用模型證據
→ : 你先讓美吹上車完再焊死車門好嗎1F 01/29 23:23
推 : 支那粉蛆說好的重擊美股呢?? 怎又開始自卑了???????2F 01/29 23:25
→ : deepseek已經不重要 openai原本商法已經沒用 市場3F 01/29 23:25
→ : 投資都要重新估值
→ : 接下來怎麼圈錢才是問題
→ : 投資都要重新估值
→ : 接下來怎麼圈錢才是問題
推 : 學生只要念會考試的範圍就好了6F 01/29 23:27
大規模使用的LLM平台, 會考的範圍就是全部了
→ : 題庫就在那裡了7F 01/29 23:27
大規模LLM平台的題庫, 差不多就是全世界所有問題了..
→ : openAI不是說有兩個可疑帳號大量使用API8F 01/29 23:31
→ : 你ban我算力我直接偷抄答案 很符合對岸的邏輯
→ : 你ban我算力我直接偷抄答案 很符合對岸的邏輯
→ : LLM沒辦法只抄答案 LLM必須具備推理能力才能應付10F 01/29 23:32
→ : 所有問題 只能說 有頭有尾 要生出推理比較容易13F 01/29 23:33
推 : 所以蒸餾可以讓學生得到比老師還口語化的結果?14F 01/29 23:33
→ : 就像計算題已經知道答案要寫算式 總是比較容易15F 01/29 23:33
→ : 學生比老師厲害不是很正常嗎 人類社會不就這樣@@a16F 01/29 23:34
→ : 蒸餾通常沒辦法比老師厲害17F 01/29 23:34
→ : 蒸餾就是讓學生模仿老師 逼近老師
→ : 蒸餾就是讓學生模仿老師 逼近老師
→ : 如果ai模型 沒辦法做到學生比老師強 那不就廢了@@?19F 01/29 23:35
→ : 目前用的蒸餾法沒辦法20F 01/29 23:35
→ : 目前的蒸餾法會劣化
→ : 目前的蒸餾法會劣化
推 : chatgpt 全名generative pre-trained transformer22F 01/29 23:35
噓 : 等等…….股點勒 現在也要把股版蒸餾成柵欄版喔？23F 01/29 23:35
→ : 一直蒸下去 會越來越笨24F 01/29 23:35
→ : 越練越笨 那就不叫ai好嗎 =.=a25F 01/29 23:36
→ : 我好奇 deepseek也是transformer architecture嗎?26F 01/29 23:36
→ : deekseek的呈現方式 沒理由不是transformer27F 01/29 23:38
→ : transformer指的是 理解輸入資訊->推理->轉成輸出
→ : transformer指的是 理解輸入資訊->推理->轉成輸出
推 : 蒸的丸子29F 01/29 23:40
→ : 應該這樣 輸入資訊->理解+推理->轉成輸出30F 01/29 23:40
推 : openai裡面有中國的內鬼 外洩機密給中國公司31F 01/29 23:41
→ : 中間的理解跟推理 是用數學模型 利用大量文本訓練32F 01/29 23:41
推 : deepseek 的 weights 也是公開的阿33F 01/29 23:41
→ : 找出自然語言每個片段意義之間的關聯性34F 01/29 23:42
→ : 估狗到有針對一般蒸餾法做改良的，可以用更少的資料35F 01/29 23:42
→ : 達到舊有的蒸餾效果，像google有開發個Distilling
→ : Step-by-Step技術
→ : 達到舊有的蒸餾效果，像google有開發個Distilling
→ : Step-by-Step技術
![[圖]](https://i.imgur.com/YXsUSJL.png)
→ : google上面那個"較少資料"是80%耶39F 01/29 23:44
推 : transformer 其實就是複雜一點的attention model40F 01/29 23:45
→ gn02118620 …
→ : 那所謂80%，照我的閱讀理解，應該不是指相較傳統蒸43F 01/29 23:51
→ : 餾可以減少的工作量，只能看有無專業的能解釋一下吧
→ : 餾可以減少的工作量，只能看有無專業的能解釋一下吧
推 : 我之所以提transformer 是因為它可以做transfer45F 01/29 23:52
→ : learning (遷移學習)
→ : 等於openai把95% transformer架構做好後 別人用此
→ : 架構做遷移學習去訓練調教很類似的LLM
→ : learning (遷移學習)
→ : 等於openai把95% transformer架構做好後 別人用此
→ : 架構做遷移學習去訓練調教很類似的LLM
→ : transfer learning是直接提取模型的特徵到另一個49F 01/29 23:57
→ : 模型用 你沒辦法把openai拿出來用
→ : 模型用 你沒辦法把openai拿出來用
→ : r1奠基在v3上，v3是ds自己train的不是？只是站在巨51F 01/29 23:59
→ : 人的肩膀上，以及工程的精進使得成本較低
→ : 人的肩膀上，以及工程的精進使得成本較低
→ : 每一個模型都是啊53F 01/30 00:00
推 : 如果是特定任務的小語言模型要騙騙補助/投資用上面54F 01/30 00:01
→ : 那套確實可行，但像DS這種大的這樣搞可能還更貴
→ : 那套確實可行，但像DS這種大的這樣搞可能還更貴
推 : 推科普56F 01/30 00:01
→ : o1 站在4的肩膀上 據說還是花了相當於2億的gpu時間57F 01/30 00:02
→ : 這個不是R1成本較低的原因
→ : 這個不是R1成本較低的原因
![[圖]](https://i.imgur.com/JGz4wJ8h.jpeg)
推 : v3蠻難用的 大概就跟others差不多61F 01/30 00:05
→ : r1套上去才有點看頭
→ : r1套上去才有點看頭
→ : https://i.imgur.com/DE9E1Ro.png63F 01/30 00:05
→ : 這個是我直接問R1, deepseek R1是否有可能從chat
→ : gpt o1蒸餾而來, R1的答覆
→ : 其實他的第二段就是我講的
→ : 你無法部署chatGPT o1, 所以你只能用API做蒸餾
→ : 這個是我直接問R1, deepseek R1是否有可能從chat
→ : gpt o1蒸餾而來, R1的答覆
→ : 其實他的第二段就是我講的
→ : 你無法部署chatGPT o1, 所以你只能用API做蒸餾
![[圖]](https://i.imgur.com/DE9E1Ro.png)
推 : I大圖好像壞掉了?68F 01/30 00:07
→ : 是不是有可能? 可能性不是零69F 01/30 00:08
→ : 我貼的圖好像只能手機看
→ : 是不是有可能?用API做蒸餾 可能性不是零
→ : 但幾千萬上億次的調用...
→ : 我貼的圖好像只能手機看
→ : 是不是有可能?用API做蒸餾 可能性不是零
→ : 但幾千萬上億次的調用...
![[圖]](https://i.imgur.com/ykW4LOGh.jpeg)
→ : 遇到一個不講武德的，用暴力式創新75F 01/30 00:11
→ : 股價說明一切XD76F 01/30 00:11
→ : 可能性不為零 只能這麼說77F 01/30 00:12
→ : 我這邊也是告訴你可能性不為零 但這個規模的調用
→ : 難度極高
→ : 而且說實在 R1一點也不像模仿o1
→ : 對話過就知道了
→ : 我這邊也是告訴你可能性不為零 但這個規模的調用
→ : 難度極高
→ : 而且說實在 R1一點也不像模仿o1
→ : 對話過就知道了
→ : 現在最好奇的是，如果真的大外宣為什麼不叫R1寫82F 01/30 00:14
→ : 大外宣我是覺得不像啦 之前聽都沒聽過 @@a83F 01/30 00:15
→ : 一直沒呼叫過o1，o1的chain of thought也是會條列嗎84F 01/30 00:17
→ : OpenAI 指的是R1嗎 我怎麼覺得指的是v385F 01/30 00:17
→ : 還是跟o1-mini一樣直接生結果？86F 01/30 00:17
→ : v3跟4o回答是有點像。但v3真的不強
→ : v3跟4o回答是有點像。但v3真的不強
噓 : 難道OpenAI不是基於事實指控?88F 01/30 00:19
→ : B站搜了一下 ds去年6-7月就有了 沒啥影片@@a89F 01/30 00:19
![[圖]](https://i.imgur.com/RAjyN65h.jpeg)
→ : 爆紅也是這幾天的事 說大外宣其實蠻怪的 @@a91F 01/30 00:19
→ : 爆紅的是R1 上週1/22才公佈R1論文 DS去年就不強92F 01/30 00:22
→ : 說盜用，也不是指百分百都靠蒸餾，關鍵部分調整方向93F 01/30 00:23
→ : 蠻有可能的
→ : 蠻有可能的
推 : o1會條列 但是沒DS詳細95F 01/30 00:27
→ : DS思考步驟說得很細 O1只會大概說一點
→ : DS思考步驟說得很細 O1只會大概說一點
→ : 我呼叫o1-preview沒條列...o1有鎖api key不給中介97F 01/30 00:29
→ : 價值3塊台幣的o1-preview 回答如下
→ : 價值3塊台幣的o1-preview 回答如下
→ : DS某些方面來說 解決部分AI黑箱思考的問題99F 01/30 00:29
![[圖]](https://i.imgur.com/Xxfekfzh.jpeg)
推 : 學生學習老師 當然要更厲害啊101F 01/30 00:30
推 : 所以你就知道很多人完全沒用過完全是在瞎討論102F 01/30 00:30
→ : 它們不知道左下角R1沒點下去 就只是在用v3
→ : 甚至不知道v3 r1 o1 o3 在說什麼
→ : 如果不知道R1跟v3的差別 那討論什麼蒸餾?
→ : 它們不知道左下角R1沒點下去 就只是在用v3
→ : 甚至不知道v3 r1 o1 o3 在說什麼
→ : 如果不知道R1跟v3的差別 那討論什麼蒸餾?
推 : 照這樣理解以後中國一直抄(蒸餾)就好啦除非美國鎖國106F 01/30 00:33
→ : 阿所以要限制啊 別人花了大錢訓練的模型給你吃豆腐107F 01/30 00:36
→ : 以後誰還要花錢訓練
→ : 以後誰還要花錢訓練
推 : 是有這樣的意見沒錯 昨天就有人說通用型的會非常捲109F 01/30 00:37
→ : 類似當年搜尋引擎大戰 近乎永遠免費給你用這樣
→ : 專用型的ASIC與相關軟體可能會更快實現獲利
→ : 類似當年搜尋引擎大戰 近乎永遠免費給你用這樣
→ : 專用型的ASIC與相關軟體可能會更快實現獲利
→ : openAI現在是要收錢的阿 你要叫它們也課個關稅嗎112F 01/30 00:39
推 : 有一說一，openai自己也是搜刮網路上別人的智財當113F 01/30 00:39
→ : 基底訓練的，他好意思說吃豆腐? 第二，訓練花錢也是
→ : 各個巨頭把毛利擴張到50%以上以近壟斷方式堆出來的
→ : ，拿證實體公司，毛利給你15-25%，訓練成本會高到哪
→ : 基底訓練的，他好意思說吃豆腐? 第二，訓練花錢也是
→ : 各個巨頭把毛利擴張到50%以上以近壟斷方式堆出來的
→ : ，拿證實體公司，毛利給你15-25%，訓練成本會高到哪
噓 :117F 01/30 00:42
推 : 可以蒸芝麻包ㄇ？芝麻包豪好粗118F 01/30 00:55
噓 : 拿別人的蒸餾酒來提煉自己的酒，大概是這概念吧119F 01/30 01:02
推 : 人真好 解釋給一堆笨蛋聽120F 01/30 01:04
推 : 剛剛OpenAI說去年下半有超大量API請求啊,121F 01/30 01:05
→ : 他以此推論的
→ : 他以此推論的
推 : 想也知道怎麼可能靠call api 很貴的123F 01/30 01:07
推 : 也不需要解釋這麼多，投資就是靠認知的落差賺錢，124F 01/30 01:16
→ : 看好看衰選一台車上，讓時間來決定勝者就是了
→ : 看好看衰選一台車上，讓時間來決定勝者就是了
推 : 所以openai說有call api就知道人家有抄襲？這只有126F 01/30 01:27
→ : 智障青鳥會信
→ : 智障青鳥會信
→ : 以AI 模型來說，公開推理計算方式不是什麼新聞。大128F 01/30 01:38
→ : 部分AI “系統” 比得是前處理功力，要先生出夠有意
→ : 義的邊境資料，後段訓練才有意義。而訓練資料的清理
→ : /篩選的成本，則不一定會被算進所謂的“訓練成本”
→ : 。至於 針對特定，處理過的資料來源，以另一套系統
→ : 的推演結果，直接當第二套的來源，在實務上不算罕見
→ : ，實作上很多跨領域系統都這樣搞。但，學術上一般是
→ : 不認可這種應用方式就是。
→ : 一般是把第一套系統當成前處理，第二套系統的範圍比
→ : 前套小但針對特定領域更細分的預測系統。整體訓練成
→ : 本會更低，特定小範圍的結果品質會比的第一套系統好
→ : 。這種算是特化架構，缺點是：擴張困難。處理的問題
→ : ，領域數目增加到一個程度，整體效能（結果的品質）
→ : 會比原系統差...
→ : 部分AI “系統” 比得是前處理功力，要先生出夠有意
→ : 義的邊境資料，後段訓練才有意義。而訓練資料的清理
→ : /篩選的成本，則不一定會被算進所謂的“訓練成本”
→ : 。至於 針對特定，處理過的資料來源，以另一套系統
→ : 的推演結果，直接當第二套的來源，在實務上不算罕見
→ : ，實作上很多跨領域系統都這樣搞。但，學術上一般是
→ : 不認可這種應用方式就是。
→ : 一般是把第一套系統當成前處理，第二套系統的範圍比
→ : 前套小但針對特定領域更細分的預測系統。整體訓練成
→ : 本會更低，特定小範圍的結果品質會比的第一套系統好
→ : 。這種算是特化架構，缺點是：擴張困難。處理的問題
→ : ，領域數目增加到一個程度，整體效能（結果的品質）
→ : 會比原系統差...
推 : 思考步驟可以用prompt，看回答不能判斷142F 01/30 03:13
→ : 讚耶 拿openAI來開源 叫蒸餾 簡直是改包裝加12道功143F 01/30 03:53
→ : 法
→ : 法
噓 : 不會去科技版討論?145F 01/30 05:11
--
※ 看板: Stock 文章推薦值: 0 目前人氣: 0 累積人氣: 99
作者 IBIZA 的最新發文:
![]()
這不是甚麼左右派之爭, 這是有腦跟無腦之爭 猴子的腦子簡單, 看事情往往只看有跟無 但大多數事情其實是目標是甚麼、怎麼做才能達成的問題 而不是有無的問題 上面的就是看準有些猴子容易騙 花大錢蓋一堆回 …337F 89推 4噓![]()
各家互相參考, 指的是訓練方法還有訓練的文本挑選, 蒸餾不太一樣 AI = 模型的程式碼+訓練 能開源的部分只有程式碼, 訓練是看各自調教 模型的能力夠, 差不多的調教方式就會得到差不多的結果 訓練 …145F 28推 5噓![]()
好, 我們來算簡單的數學, 30年嘛 期初, 這個ETF用10000元買入票面2.5%債券, 殖利率也是2.5% 所以期初投入10000元, 之後每年拿250債息 第10年第20年轉換的時候, 利率 …670F 139推 9噓![]()
不好意思, 這個人還是這對夫妻是誰我是完全不知道 影片跟背景我也不了解 只是光從你這邊的敘述, 我不覺得是他們啃老耶 是爸爸抓著經濟大權不肯放吧 家裡做小本生意, 在家裡做體力活一個月拿26000, …1100F 102推 2噓
點此顯示更多發文記錄
→
guest
回列表(←)
分享