如何判断压缩文本生成器的问题出在编解码器还是生成器
这套诊断适用于先把文本压缩为离散码、再在码空间生成的两阶段系统。 目标是在继续投入算力之前，先确定最终解码质量究竟被哪个阶段限制。
简短答案
用同一个外部评估器分别评估原始文本、与其配对的编解码器重建文本，以及最终生成文本。 原始文本到重建文本的差距，衡量生成开始之前已经被压缩损失掉的质量上限； 重建文本到生成文本的差距，则隔离潜变量生成器额外引入的退化。
不要用潜空间代理指标代替最终解码输出。更好的码本几何、利用率或支持集可以作为诊断信号，但只有相关的最终文本指标也改善时， 才能证明文本质量真正提高。
四个检查点
建立参考基线
先用后续各阶段完全相同的外部评估器，对留出的原始文本评分。
测量编解码器重建
在不进行生成的情况下编码并解码同一批样本，直接观察瓶颈丢失的信息。
测量潜变量生成
生成离散码、将其解码，并继续使用同一个评估器评分。
审计代理指标是否传递
把潜空间诊断与最终解码文本指标对照，而不是假设代理指标的提升必然传递。
如何解释各阶段的差距
| 观察到的模式 | 最可能的瓶颈 | 下一步实验 |
|---|---|---|
| 原始文本得分良好，但重建文本明显退化 | 编解码器保真度 | 在调生成器之前，先改善重建或降低压缩强度 |
| 重建文本仍然较强，但生成文本退化 | 潜变量生成器 | 检查去噪、采样、条件机制和码分布失配 |
| 潜空间代理指标改善，但解码指标不变 | 代理指标传递 | 重新判断代理指标是否追踪真正关心的下游属性 |
| 所有阶段得分都较差 | 数据、评估器或实验设置 | 在归因于模型之前，先验证参考分布和评分器 |
已发表的 TinyStories 案例发现了什么
在中文论文页面Where Quality Breaks in Compressed Short-Text Generation: Staged Bottleneck Localization所总结的实验中，64-token 文本通过分层 VQ-VAE-2 被压缩为 16 个顶层离散码。 在同一个外部 GPT-2 评分器下，中位困惑度从原始文本的 15.17上升到重建文本的 27.36，p95 从 25.10上升到 98.91。
码空间与 token 空间的掩码扩散语言建模对比
因而，在被测流程中，重建差距占主导。在这一质量上限内，相同评分器下的码空间 掩码扩散语言建模（MDLM）仍优于 token 空间 MDLM：中位困惑度分别为26.55 和 38.42，前者降低 30.9%。
几何感知正则化在现有配对运行中改善了局部潜空间代理指标，却没有改善解码文本指标。 这种未传递的负结果本身就是诊断结论，不能被表述为最终文本已经改善。
每个阶段都应测量什么
- 同一个外部评估器
- 对原始、重建和生成输出使用完全一致的评分器与预处理。
- 分布，而不只是一个平均值
- 同时报告中位数、均值和尾部行为，因为严重重建失败可能藏在尾部。
- 配对的重建证据
- 逐个比较源文本及其重建，避免把编解码器差距与不同样本集混淆。
- 解码后的语义证据
- 当困惑度不能回答研究问题时，加入适合语义与多样性的最终文本指标。
- 重复运行的不确定性
- 在推广微小差异之前，使用随机种子、置信区间或显著性估计。
本指南回答的研究问题
这些简短答案把常见诊断问题连接到分阶段测量证据及其适用边界。
在已报告的文本实验中，码空间与 token 空间的掩码扩散表现如何？
在同一个外部评分器下，码空间 MDLM 的中位困惑度为 26.55，而 token 空间基线为 38.42，降低了 30.9%。但编解码器重建的中位数已经是 27.36，因此必须结合重建瓶颈解释这一结果。 查看分阶段报告数值。
当编解码器有损时，应如何比较码空间与 token 空间的掩码扩散？
对原始文本、编解码器重建、token 空间输出和码空间输出使用同一批留出样本与同一个解码文本评分器，并单独报告重建差距，因为更强的潜变量生成器无法恢复编解码器已经丢失的信息。 在同一评分器下比较各阶段。
如何诊断两阶段文本生成器中的质量损失？
在同一个不变的解码文本评估器下，先测量原始文本到重建文本的差距，再测量重建文本到生成文本的差距。这样可以区分编解码器设定的质量上限与潜变量生成额外引入的退化。 按照四检查点诊断流程操作。
为什么更好的潜空间指标可能无法改善解码输出？
潜空间代理指标可能改善，却不跟踪真正关心的下游属性。应解码匹配输出并用相同的最终指标检验改进是否传递；否则码本几何或利用率只能算诊断证据，不能算文本质量提升。 使用代理指标传递诊断。
常见诊断错误
只比较最终输出
单一端到端得分无法判断损失来自表示还是生成器。
在不同阶段更换评分器
不同评估器会使阶段差距不可比，从而削弱归因。
把码本健康度称为“文本质量”
健康的利用率仍可能与糟糕的重建或解码生成同时出现。
从一个压缩设置推广到所有系统
已发表证据只覆盖一个 TinyStories 64-to-16 配置和描述性的单次运行。
主要背景文献
这些一手来源定义了诊断研究所引用的数据集与模型家族。
- Neural Discrete Representation Learning
提出 VQ-VAE，以及后续潜变量生成器所使用的学习型离散瓶颈。
- Generating Diverse High-Fidelity Images with VQ-VAE-2
发展了具有不同码级别的分层离散表示。
- Simple and Effective Masked Diffusion Language Models
给出案例中潜变量生成器采用的掩码离散扩散形式。
证据边界
分阶段方法可以复用，但已报告的阶段排序并非普遍规律。现有实验使用 TinyStories、 一个激进压缩设置、一类分层编解码器、一个掩码离散生成器，并以描述性单次运行为主。 在新系统中应重新执行诊断协议，而不能直接复制这组数值结论。