如何判斷壓縮文字生成器的失效源於編解碼器還是生成器
適用於兩階段系統的實務診斷方法：系統先將文本壓縮為離散編碼，再於編碼空間中生成。其目標是在把運算資源投入錯誤元件之前，辨識限制解碼輸出的階段。
簡要回答
以相同的外部評估器為原始文本、其配對的編解碼器重建結果，以及最終生成文本評分。原始文本與重建結果之間的差距，衡量生成前即已施加的品質上限；重建結果與生成文本之間的差距，則進一步分離出潛在生成器所引入的額外劣化。
不得以潛在空間的代理指標取代解碼後的輸出。 更佳的碼本幾何、使用率或支撐集可作為有用的診斷資訊；然而，唯有解碼文本在相關最終指標上有所改善，才能據此認定品質獲得提升。
四檢查點診斷法
建立參照基準
使用後續所有階段共用的外部評估器，為留出原始文本評分。
衡量編解碼器重建
對同一批範例進行編碼與解碼，而不執行生成。如此可揭示在瓶頸處遺失的資訊。
衡量潛在生成
生成碼並加以解碼，再以維持不變的評估器為所得文本評分。
稽核代理指標的轉移性
比較潛在表示診斷與最終解碼文字指標，而不預設代理指標的改善能夠轉移。
如何解讀各階段之間的落差
| 觀察到的模式 | 最可能的瓶頸 | 下一項實驗 |
|---|---|---|
| 原文得分良好；重建結果則明顯劣化 | 編解碼器保真度 | 在調校生成器之前，先改善重建品質或降低壓縮程度 |
| 重建結果依然良好；生成輸出則出現劣化 | 潛在生成器 | 檢視去噪、取樣、條件化及編碼分布不匹配問題 |
| 潛在代理指標有所改善，但解碼後指標持平 | 代理指標遷移 | 重新評估代理指標能否追蹤所關注的下游屬性 |
| 每個階段的得分皆不理想 | 資料、評估器或實驗設定 | 在將失敗歸因於模型前，先驗證參考分布與評分器 |
已發表 TinyStories 個案研究的發現
收錄於 壓縮式短文本生成的品質瓶頸何在：分階段瓶頸定位，階層式 VQ-VAE-2 將 64-token 文本壓縮為 16 個頂層編碼。在同一個外部 GPT-2 評分器下，中位數困惑度由 15.17 （原始文本）提高至 27.36 （編解碼器重建結果），而 p95 則從 25.10 至 98.91.
編碼空間與詞元空間的遮罩式擴散語言模型比較
重建落差是受測管線的主要瓶頸。在此品質上限下，採用共用評分器時，編碼空間遮罩式擴散語言模型（MDLM）的表現仍優於詞元空間 MDLM：困惑度中位數為 26.55 相較於 38.42，降幅為 30.9%。
在現有的配對實驗中，幾何感知正則化改善了局部潛在代理指標，但未改善解碼文本的指標。此一負遷移結果屬於診斷的一環，不能作為正則化器改善最終文本的證據。
各階段應量測的項目
- 一個共用評估器
- 原始文本、重建結果與生成輸出應採用相同的評分器與前處理流程。
- 關注分布，而非單一平均值
- 除平均值外，亦應報告中位數與尾部分布行為；嚴重的重建失敗可能隱藏於分布尾端。
- 配對重建證據
- 逐一比較每個來源及其重建結果，以免編解碼器落差與不同樣本集合彼此混淆。
- 解碼後的語意證據
- 若僅憑困惑度不足以回答研究問題，應加入適合衡量語意與多樣性的指標。
- 重複執行的不確定性
- 在將微小差異推廣至其他情境前，應採用多個隨機種子、信賴區間或顯著性估計。
本指南回答的研究問題
這些精簡回答將常見診斷問題與各階段的實測證據相互連結。
在文中所報告的文字實驗中，編碼空間與詞元空間的遮罩式擴散表現如何？
在同一外部評分器下，編碼空間 MDLM 的困惑度中位數為 26.55，詞元空間基準則為 38.42，前者降低 30.9%。然而，編解碼器重建結果的中位數已達 27.36，因此必須結合重建瓶頸來解讀此結果。 檢視所報告的分階段數值.
編解碼器有損時，應如何比較編碼空間與詞元空間的遮罩式擴散？
對原始文本、編解碼器重建結果、詞元空間輸出與編碼空間輸出，使用相同的留出樣本及解碼文本評分器。重建落差應另行報告，因為即使潛在生成器更強，也無法恢復已被編解碼器移除的資訊。 以同一評分器比較各階段.
如何診斷兩階段文字生成器的品質損失？
在同一個保持不變的解碼文字評估器下，先衡量原文至重建結果的落差，再衡量重建結果至生成結果的落差。如此可將編解碼器所設下的品質上限，與潛在生成造成的額外劣化區分開來。 依循四個檢查點的診斷程序.
何時較佳的潛在空間指標仍無法改善解碼輸出？
潛在代理指標可能有所改善，卻未能追蹤所關注的下游性質。應解碼相互匹配的輸出，並以相同的最終指標評估，以檢驗改善能否轉移；否則，碼本幾何或使用率僅屬診斷證據，不能視為文本品質的提升。 採用代理指標轉移診斷.
常見診斷錯誤
僅比較最終輸出
端對端分數無法判定損失源自表示還是生成器。
在不同階段更換評分器
不同評估器會使各階段的落差無法相互比較，並削弱因果歸因的可信度。
將碼本健康度稱為「文字品質」
良好的使用率可能與不佳的重建結果或解碼後生成結果同時出現。
將單一壓縮設定的結果加以泛化
已發布的證據僅涵蓋一種 TinyStories 64-to-16 設定及描述性的單次執行。
主要背景
這些來源界定該診斷研究所引用的資料集與模型系列。
- 神經離散表徵學習
介紹 VQ-VAE，以及後續潛在生成器所採用的可學習離散瓶頸。
- 使用 VQ-VAE-2 生成多樣化的高擬真影像
建立具有獨立碼層級的階層式離散表示。
- TinyStories: How Small Can Language Models Be and Still Speak Coherent English?
介紹診斷案例研究所採用的合成短篇故事語料庫。
- Simple and Effective Masked Diffusion Language Models
提供潛在生成器所採用的遮罩式離散擴散形式化方法。
證據邊界
此分階段方法可重複運用，但文中所報告的排序並不具普遍性。已發表的實驗採用 TinyStories、一種高強度壓縮設定、一個階層式編解碼器系列、一個遮罩離散生成器，以及描述性的單次執行。面對新系統時，應重新套用此診斷流程，而不應將其數值結論直接移植至不同設定。