作者
標題 [討論] Context Rot 上下文腐化
時間 Fri Aug 29 20:51:13 2025
標題 [討論] Context Rot 上下文腐化
時間 Fri Aug 29 20:51:13 2025
今天無聊逛YouTube看到一則影片，當中提到由新創公司Chroma提出的報告「Context
Rot: How Increasing Input Tokens Impacts LLM Performance」 (上下文腐化：增加輸
入Token如何衝擊LLM的表現)
https://research.trychroma.com/context-rot
本報告2025年7月發表。雖然是公司為了行銷自己產品而做的報告，但內容還是值得一看
。當中對現況點出了一個現實：輸入長度越長，模型的表現越差。
。當中對現況點出了一個現實：輸入長度越長，模型的表現越差。
其中一個實驗滿有趣的：在context中加入「干擾」。
這些干擾並不是所謂的錯誤資訊，而是「語義與結構相似但不同」的資訊，例如：
問題：「我從大學同學那裡得到的最佳寫作建議是什麼？」
內文中的解答：「我認為從我大學同學那裡得到的最好的寫作建議是每週都要寫作。」
干擾資訊：
- 「我從大學教授那裡得到最棒的寫作建議，就是要每天寫作。」
- 「我從大學同學那裡收到最糟的寫作建議，就是要用五種不同風格寫每篇論文。」
- 「我同學給過我最棒的寫作建議，就是要用三種不同風格來寫每篇文章，那還是高中時
候的事了。」
- 「我原本以為大學同學給我的最佳寫作建議，就是要用四種不同風格來寫每篇文章，但
現在我不這麼認為了。」
結果無一例外，這些干擾都確實地導致模型的表現下滑。
報告的結論：
「我們的觀察顯示，上下文結構特性(如相關資訊的放置位置或重複性)會影響模型行為」
「我們的研究結果凸顯上下文工程的重要性：即對模型上下文窗口的精心建構與管理。」
「我們的研究結果凸顯上下文工程的重要性：即對模型上下文窗口的精心建構與管理。」
※
有些人以為現在的瓶頸是在context window，但若是以追求精確度而言，把整個專案的
程式碼或指導文件塞入context window恐怕並無助於模型的表現，而且與任務無關的上
下文更會使模型表現變差
程式碼或指導文件塞入context window恐怕並無助於模型的表現，而且與任務無關的上
下文更會使模型表現變差
--------------以下開放宗教戰爭--------------
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 146.70.205.84 (日本)
※ 作者: SkankHunt42 2025-08-29 20:51:13
※ 文章代碼(AID): #1eiQ93e0 (Soft_Job)
※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1756471875.A.A00.html
推 : 這很合理啊 盡信書不如無書
操作股票 收到不同訊號的時候到底要信誰的
所以要有更高等的指引
類似 機器人三大法則
當事實矛盾的時候 智能就應該回到更高等的概念重新推導
然後找到一個不完美但相對合理的結論1F 08/29 21:00
操作股票 收到不同訊號的時候到底要信誰的
所以要有更高等的指引
類似 機器人三大法則
當事實矛盾的時候 智能就應該回到更高等的概念重新推導
然後找到一個不完美但相對合理的結論1F 08/29 21:00
→ : 說實話rot議題一直很奇怪，因為太長所以被干擾，不是因為context太多雜訊才rot嗎，window直接影響理解跟記憶
看起來才是根因7F 08/29 21:06
看起來才是根因7F 08/29 21:06
→ : AI看到太長的文章也會按end嗎10F 08/29 22:21
反正我知道資策會畢業的會無腦信
畢竟有些人要數據搬不出數據 要經驗搬不出經驗
要論述搬不出論述 只會誰誰說
唉
不過我沒差啦 不知道你在7什麼
AI需求越多 我RSU越漲 看年底股價能不能破200刀
我比你還怕AI跌下神壇咧 嘻嘻
→ : AI看到五個人在會議室講差不多的廢話最後有樣學樣回一句廢話14F 08/29 22:30
※ 編輯: SkankHunt42 (93.118.41.97 日本), 08/29/2025 23:24:06推 : 肯定AI正在泡沫化16F 08/29 23:46
噓 : 看看你貼了一篇連自己都看不懂的東C還在那邊無腦信 呵
回去再看仔細一點 就這？
https://arxiv.org/pdf/2404.07143 慢慢研究 有腦哥17F 08/30 00:39
回去再看仔細一點 就這？
https://arxiv.org/pdf/2404.07143 慢慢研究 有腦哥17F 08/30 00:39
說到貼自己看不懂的東西 非你莫屬啦
你貼的連結 https://tinyurl.com/yhffdm9a 往上轉
AI直接講了
"確實存在一些研究和觀點指出，上下文窗口越大不一定使模型的精準度越好，甚至在某些
情況下可能會降低性能和準確性。"
AI還幫你列出文獻 不就側面說明我貼的報告是有其他文獻佐證的
我都好奇 這個對話紀錄該不會是你問的 然後挑你自己想看的部分貼還貼得很爽XD
最好笑的是你打擊我的點不是挑出報告錯誤的地方 而是一直跳針Google前執行長
Chroma報告跟相關paper都是透過各種量化的方式在內部加入噪音與數據干擾
人家問的是語義上需要邏輯理解的問題
你貼的論文測試的方法是book summarization與Passkey Retrieval Task
Passkey Retrieval人家還把範例貼給你看了
https://i.meee.com.tw/3tbrQyA.png
![[圖]](https://i.meee.com.tw/3tbrQyA.png)
你覺得那跟我報告中舉出的測試方法相同嗎？
所以我看不懂你到底要反駁什麼 兩篇文獻benchmark的方式完全不同
那你到底是要拿來比什麼？
唉 資訊科畢業出社會只能當作業員
然後無法自學 28歲時還得靠資策會集訓才能找到工作的工程師
說真的 看你講話 真的覺得 難怪啊XD
你沒念過碩士也沒做過研究我不怪你
我是覺得你趕快去面試取得一家市值1兆美元以上的科技公司的offer
證明你是有能力與競爭力的
不然講真的 你的資歷真的很難搬上檯面
你講的話搭配你的學經歷聽起來就更好笑了
→ : 推二樓20F 08/30 01:31
※ 編輯: SkankHunt42 (149.22.87.100 日本), 08/30/2025 03:09:12推 : 與其說是 context太長 感覺是比較接近 context 需要打掉雜質21F 08/30 05:10
→ : 沒點進去看
但是光看描述沒辦法論證是context太混亂導致的 還是跟context長度有關23F 08/30 09:49
但是光看描述沒辦法論證是context太混亂導致的 還是跟context長度有關23F 08/30 09:49
該報告的實驗數據之一，在context長且有干擾項的狀況下表現是變差的
還有其他的實驗，不過我只挑實務場景比較常見的講
→ : 目前我們這邊做的一些實驗都是context資訊量多比起少效果好很多26F 08/30 09:49
https://arxiv.org/abs/2404.06654
[2404.06654] RULER: What's the Real Context Size of Your Long-Context Language Models? Abstract page for arXiv paper 2404.06654: RULER: What's the Real Context Size of Your Long-Context Language Models? ...
We benchmark 17 long-context LMs using RULER with context sizes ranging
from 4K to 128K. Despite achieving perfect results in the widely used
needle-in-a-haystack test, almost all models fail to maintain their
performance in other tasks of RULER as we increase input length.
當然今年是2025年，也有可能有模型能高分通過該測試也不一定
單一測試基準可以說明「LLM在指定規模與內容的context下執行特定任務的表現」
但不能說明LLM在處理同等規模但不同品質與內容的context下結果都一樣
推 : 兇，你會被信徒當異端邪說圍剿
對了，要妥善上下文沒啥問題，但整理者通常還是人類，這樣一來一往就不見得比較省時間了。28F 08/30 10:05
對了，要妥善上下文沒啥問題，但整理者通常還是人類，這樣一來一往就不見得比較省時間了。28F 08/30 10:05
可以透過魔法對付魔法，讓AI去篩選合適的文件與內容，將任務分階段分開進行
確保context window是乾淨的
推 : 就像是教小孩寫作文 如果你的題目裡面有作文範例你就
會看到你班上的各種作文都會出現範例中寫過的素材31F 08/30 10:53
※ 編輯: SkankHunt42 (149.22.87.105 日本), 08/30/2025 13:22:04會看到你班上的各種作文都會出現範例中寫過的素材31F 08/30 10:53
推 : 有在實作的應該都有觀察到這現象 感覺這問題真的解決前 應該無法在模型層面達成AGI 頂多在應用層面擬似AGI任務分階段進行感覺那個金字塔必須要非常高 非常貴 非常慢 才能真的通用33F 08/30 15:36
推 : 之前ai coding建議是越詳細的context越好，所以claude.md(agent.md)寫很多，然後directories也有針對的context。不過現在又說太詳細，太複雜的context反而混淆ai coding。所以目前的共識是認同這篇的。
現在都會建議，同一個問題如果跟ai來回3，4次就需要resetcontext不然後面ai會越走越歪。37F 08/30 19:17
現在都會建議，同一個問題如果跟ai來回3，4次就需要resetcontext不然後面ai會越走越歪。37F 08/30 19:17
→ : 賣鞋的怎麼突然不繼續表演了 看不懂自己貼的論文你可以問問AI阿 看看Infini-Transformer能不能解決con
text rot43F 08/30 19:53
text rot43F 08/30 19:53
→ : 某些ID一看就CRUD雜工 沒什麼料 只會放新聞談AI
一點論述都沒有 只會搬OOO講了XXX 有夠可悲46F 08/30 20:52
一點論述都沒有 只會搬OOO講了XXX 有夠可悲46F 08/30 20:52
--
作者 SkankHunt42 的最新發文:
- 6F 1推
- 47F 8推 2噓
![]()
先來定義什麼是vibe coding Karpathy described it as "fully giving in to the vibes, embracing exponentia …139F 30推
點此顯示更多發文記錄