作者 pacino (掃地僧)標題 Re: [心得] token maximum時間 Sat Mar 7 10:12:44 2026
看了這兩串, 充滿了疑問..
想討論一下這個主題： token
(1) 每個LLM 都有自己的max. tokens
這是在training model時就要決定的
(2) max output tokens是讓agent在送給LLM 之前處理用的，避免超過LLM model的max. to
(3) rules 沒被執行，有可能是context可能超過LLM model的max. tokens, agent 主動壓?
這樣不就解釋了兩串原po的問題？
麻煩指正，若我的了解有誤。
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.249.83.213 (臺灣)
※ 作者: pacino 2026-03-07 10:12:44
※ 文章代碼(AID): #1fgucUG2 (Soft_Job)
※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1772849566.A.402.html
※ 同主題文章:
Re: [心得] token maximum
03-07 10:12 pacino
噓 DrTech: 1. LLM什麼時後會停止回答，跟你設定多長的 max output token無關。2.max output token不是寫在prompt裡面。2F 03/07 14:26
為了避免LLM不處理超過model的max tokens (聽說 LLM會傳回error，往返也是cost)
所以才要靠agent把關， 不是嗎？
Max output token是給agent用的
當有需要減少context,
agent有個機制會壓縮整個context（prompt, history, rules, referenced files..)
再把壓縮後的context送往LLM
→ DrTech: LLM要停止輸出，不看max output tokens，是看有沒有算出EOS token。與你怎麼設定OS環境變數，是否放在prompt無關。按錯，我不是要噓。4F 03/07 14:32
※ 編輯: pacino (111.249.83.213 臺灣), 03/07/2026 15:16:09
--