作者 treasurehill (寶藏巖公社，你還未夠班S)標題 Re: [新聞] OpenAI:已掌握DeepSeek盜用模型證據時間 Thu Jan 30 16:22:05 2025
→ William: 現代ML跟混沌有關？也太亂套了...
還有deepseek的實作就不是你想像的用同一份資料重複學習..
deepseek r1跟你的論文的實作就不同..先去看過deepseek的論文再來討論..223.137.83.145 台灣 01/30 15:55
不要在那邊吹啦!
deepseek的論文當然是一再吹噓自己的系統有多好
但是學界論文早就已經指出這種拿自己生成的資料再訓練的結果將導致AI 模型崩潰
https://reurl.cc/Kd5EWp
這就是CHAOS理論中穩定收斂模型(之前講反了)
整個系統就只存在單一資料，其他有用的資料都被捨棄了
原生資料的多元性不見了
這就是知識蒸鰡的最大致命傷
也注定了他絕對不會超越原始訓練模型
這篇論文已經講得很清楚了
The Curse of Recursion: Training on Generated Data Makes Models Forget
https://arxiv.org/pdf/2305.17493
翻譯成中文就是遞歸的詛咒：AI生成資料的訓練使模型忘卻原始資料
你就不用在那邊硬ㄠ了
退化模型崩潰
退化模型崩潰是指退化學習過程，隨著時間的推移，模型開始忘記不太可能發生的事
件，因為模型因其現實投影而中毒。
文章「遞歸的詛咒：產生資料的訓練使模型忘記」探討了遞歸訓練模型對其產生資料的有
害影響。這個過程被稱為“退化模型崩潰”，會導致退化學習週期，模型逐漸忘記實際的
資料分佈。這種遞歸訓練導致模型與罕見事件和異常值失去聯繫，從而隨著時間的推移簡
化和扭曲了它們對現實的理解。
當模型隨著時間的推移，開始忘記或忽視不太可能發生的事件，因為它們越來越受到現實
預測的「毒害」時，就會發生退化模型崩潰現象。這些模型不斷地從它們的產出中學習，
而不是從各種新的現實世界數據中學習，從而強化了狹隘的視角。這種自我強化循環可以
顯著影響模型識別和回應罕見或新事件的能力。
GenAI 工具通常充當“平均值的反芻者”，從廣泛的數據集中進行概括。然而，當輸入資
料因模型的輸出被回饋而變得逐漸統一時，反應的相關性和準確性可能會顯著降低。這種
退化過程削弱了模型處理異常值或非典型案例的能力，而這對於細緻的決策和創新至關重
要。
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.70.83.123 (臺灣)
※ 作者: treasurehill 2025-01-30 16:22:05
※ 文章代碼(AID): #1dcpQmE5 (HatePolitics)
※ 文章網址: https://www.ptt.cc/bbs/HatePolitics/M.1738225328.A.385.html
※ 同主題文章:
Re: [新聞] OpenAI:已掌握DeepSeek盜用模型證據
01-30 16:22 treasurehill
※ 編輯: treasurehill (42.70.83.123 臺灣), 01/30/2025 16:25:40
→ kougousei: 我覺得這很直覺啊 一直把AI模型的資料餵進去訓練最後怎麼可能收斂到超越原本的模型= =? 我不懂那麼難的數學
都覺得這結論很符合直覺= =?
不曉得有些人在跳針啥1F 36.229.0.108 台灣 01/30 16:22
※ 編輯: treasurehill (42.70.83.123 臺灣), 01/30/2025 16:27:30
→ William: 所以業界做出一個跟學界理論推導結論不同的結果表示業界在唬爛？而不是前去看論文的assumption?我也是昏了6F 223.137.83.145 台灣 01/30 16:27
笑死!這是不同的論文
你連內容都沒看就在那邊跳針
※ 編輯: treasurehill (42.70.83.123 臺灣), 01/30/2025 16:29:47
推 Finarfin: 奇怪 中國人一直崩潰 怎麼不去對岸做大事? 要協助祖國才能打死邪惡美爸爸9F 111.243.89.234 台灣 01/30 16:31
※ 編輯: treasurehill (42.70.83.123 臺灣), 01/30/2025 16:42:40
→ William: 一樣啊，deepseek就不是用你想像的方法訓練的..
正常的工程師應該是該去看怎麼從人家的成果中學習..而不是否認..笑死11F 223.137.83.145 台灣 01/30 16:42
推 quid1121: 推F大 中國人就滾去對岸幹大事 慢走不送15F 1.173.181.173 台灣 01/30 16:47
噓 Sinreigensou: 這個跟混沌也沒關係 你的圖也完全沒用到混沌兩字 根本就是不同東西混沌理論是一個專門術語不要亂用16F 49.217.134.74 台灣 01/30 16:52
混沌理論就是再講遞回啦
資訊白癡就別在那邊耍寶了好嘛!
混沌理論（chaos theory）或稱動態系統理論（dynamical systems theory）起源於自然
領域的學者對於大自然許多無可解釋與預期現象的一種詮釋。這種存在我們生活週遭、複
雜無秩序的現象，科學家稱之為「混沌現象」（chaos phenomena）。Hayles（1990）在
「Chaos bound：Orderly disorder in contemporary literature and science」指出，
混沌系統有下列五項特徵：1.複雜的形式。2.非線性。3.不同尺度之間的遞移性。4.對於
初始條件的敏感。5.回饋機制。
林妮燕（民89）將混沌理論的特徵整理為：1.非線性。2.複雜型態。3.耗散結構。4.循環
對稱。5.對初始狀態高度敏感。6.奇特吸引子。7.蝴蝶效應。8.回饋機制。綜合上述學者
的看法，筆者認為混沌理論中，對於教育具有特別影響的特徵有如下幾點：
一、蝴蝶效應（the butterfly effect）或稱敏感於初始條件（sensitivity to
initial conditions）：
Griffiths,D.E. ,Hart,A.W. ,＆Blbir,B.G（1991）認為這個概念是混沌理論的中心主題
，它「假設今天巴西有一隻蝴蝶展翅拍動，其對空氣造成擾動，將可能觸發下個月美國德
州的暴風雨。」亦即只要初始條件小小的差異，就有可能造成巨大的不同結果，藉以指出
對初始條件的敏感依賴。葉連祺（民87）以為「蝴蝶效應」是指藐小不起眼的事件或現象
，在紛擾不可測的混沌中，可能會扮演具影響性的關鍵角色。
因此，我們可知，蝴蝶效應就是要注意身邊細微的變化，因為很可能就是這些毫不起眼的
變化，形成牽一髮而動全身的劇烈反應。
二 非線性：
Kiel（1993）認為非線性系統有：聚歛（convergence）為穩定平衡狀態、穩定變動（
stable oscillation ）、非穩定和探索性、混沌的等四個行為特徵。意即將系統的變動
情形，看成是非線性、動態的和暫時性的，永久平衡並不存在。因此在「線性關係」中，
因果成比例狀態而且其重要性是相對等的，這意味著可以藉由變項的操弄而預知結果。而
「非線性關係」則是指一個系統中各種關係的呈現並非嚴格的成比例的，而是由一些原因
產生很不同的結果，無法用線性關係來解決。
三 回饋機制：
在系統的變化方面，是受到系統過去的歷史決定其進行的方向，然後在隨機與動態中，系
統中各吸引子導致成果的產出，一切的過程可經由非線性的方程式加以表示；如此反覆進
行，舊的成果會回饋至系統成為新的輸入，並產生波動而激發出下一次的新結構。
陳木金（民85）指出：在混沌系統循環的回饋機制，使得輸出項（output）回饋返回
到系統裡如同輸入項（input）一樣，例如，在一個學區裡，學生的學習成就（output）
、學習結果，最後仍是會回饋到學區（input）的各項成就之中，因為學生學習成就的結
果是促進學區變化、進步、發展的動力，更進而增強此一學區的各項能力。
四 奇異吸子：
奇異吸子表示系統有一或多個潛藏的規準或原則，它會主導系統的演變，雖然幻變萬千，
但仍在某特定範疇內，它具有穩定的特質，可以被預測的，可視為影響系統運作的重要因
素（Bobner, Newman ＆Wessinger,1989）。
陳木金（民88）指出：奇異吸子（strange attractor）是存在混沌系統中規律秩序的線
索，是某些元素或力量浮現出來成為一個中心的組成部分環繞著事件運轉循環，其模式型
態是環繞著奇異吸子潛藏在混沌系統裡發展。
※ 編輯: treasurehill (42.70.83.123 臺灣), 01/30/2025 16:58:54
推 quid1121: 干 S你要不要把你懂得chaos說出來讓大家笑一下?19F 1.173.181.173 台灣 01/30 16:59
※ 編輯: treasurehill (42.70.83.123 臺灣), 01/30/2025 17:00:54
噓 Sinreigensou: 不是你先解釋自己文章完全沒提到chaos你哪裡生出來的？21F 49.217.134.74 台灣 01/30 17:00
笑死!你看不懂中文是不
混沌理論的四大要素之一就是回饋機制
三 回饋機制：
在系統的變化方面，是受到系統過去的歷史決定其進行的方向，然後在隨機與動態中，系
統中各吸引子導致成果的產出，一切的過程可經由非線性的方程式加以表示；如此反覆進
行，舊的成果會回饋至系統成為新的輸入，並產生波動而激發出下一次的新結構。
承認自己是資訊白癡很困難嗎?
※ 編輯: treasurehill (42.70.83.123 臺灣), 01/30/2025 17:02:52
噓 Sinreigensou: 所以那個chaos在哪？
你的pdf完全找不到chaos 再凹啊23F 49.217.134.74 台灣 01/30 17:05
推 lwdlovecwl: 讚，雖然看不懂，我文組的25F 180.217.113.63 台灣 01/30 17:17
推 quid1121: S只是個支那嘴炮仔 認真你就輸了~26F 1.173.181.173 台灣 01/30 17:21
噓 Sinreigensou: 跟李嚴嘴了醬汁結果成品沒醬汁一樣27F 49.217.134.74 台灣 01/30 17:23
--