如何判断压缩文本生成器的问题出在编解码器还是生成器
这套诊断适用于先把文本压缩为离散码、再在码空间生成的两阶段系统。 目标是在继续投入算力之前，先确定最终解码质量究竟被哪个阶段限制。
简短答案
用同一个外部评估器分别评估原始文本、与其配对的编解码器重建文本，以及最终生成文本。 原始文本到重建文本的差距，衡量生成开始之前已经被压缩损失掉的质量上限； 重建文本到生成文本的差距，则隔离潜变量生成器额外引入的退化。
不要用潜空间代理指标代替最终解码输出。更好的码本几何、利用率或支持集可以作为诊断信号，但只有相关的最终文本指标也改善时， 才能证明文本质量真正提高。
四个检查点
建立参考基线
先用后续各阶段完全相同的外部评估器，对留出的原始文本评分。
测量编解码器重建
在不进行生成的情况下编码并解码同一批样本，直接观察瓶颈丢失的信息。
测量潜变量生成
生成离散码、将其解码，并继续使用同一个评估器评分。
审计代理指标是否传递
把潜空间诊断与最终解码文本指标对照，而不是假设代理指标的提升必然传递。
如何解释各阶段的差距
| 观察到的模式 | 最可能的瓶颈 | 下一步实验 |
|---|---|---|
| 原始文本得分良好，但重建文本明显退化 | 编解码器保真度 | 在调生成器之前，先改善重建或降低压缩强度 |
| 重建文本仍然较强，但生成文本退化 | 潜变量生成器 | 检查去噪、采样、条件机制和码分布失配 |
| 潜空间代理指标改善，但解码指标不变 | 代理指标传递 | 重新判断代理指标是否追踪真正关心的下游属性 |
| 所有阶段得分都较差 | 数据、评估器或实验设置 | 在归因于模型之前，先验证参考分布和评分器 |
已发表的 TinyStories 案例发现了什么
在中文论文页面Where Quality Breaks in Compressed Short-Text Generation: Staged Bottleneck Localization所总结的实验中，64-token 文本通过分层 VQ-VAE-2 被压缩为 16 个顶层离散码。 在同一个外部 GPT-2 评分器下，中位困惑度从原始文本的 15.17上升到重建文本的 27.36，p95 从 25.10上升到 98.91。
因而，在被测流程中，重建差距占主导。相同评分器下，码空间 MDLM 仍优于 token 空间 MDLM： 中位困惑度分别为 26.55 和 38.42，前者降低 30.9%。
几何感知正则化在现有配对运行中改善了局部潜空间代理指标，却没有改善解码文本指标。 这种未传递的负结果本身就是诊断结论，不能被表述为最终文本已经改善。
每个阶段都应测量什么
- 同一个外部评估器
- 对原始、重建和生成输出使用完全一致的评分器与预处理。
- 分布，而不只是一个平均值
- 同时报告中位数、均值和尾部行为，因为严重重建失败可能藏在尾部。
- 配对的重建证据
- 逐个比较源文本及其重建，避免把编解码器差距与不同样本集混淆。
- 解码后的语义证据
- 当困惑度不能回答研究问题时，加入适合语义与多样性的最终文本指标。
- 重复运行的不确定性
- 在推广微小差异之前，使用随机种子、置信区间或显著性估计。
常见诊断错误
只比较最终输出
单一端到端得分无法判断损失来自表示还是生成器。
在不同阶段更换评分器
不同评估器会使阶段差距不可比，从而削弱归因。
把码本健康度称为“文本质量”
健康的利用率仍可能与糟糕的重建或解码生成同时出现。
从一个压缩设置推广到所有系统
已发表证据只覆盖一个 TinyStories 64-to-16 配置和描述性的单次运行。
主要背景文献
这些一手来源定义了诊断研究所引用的数据集与模型家族。
- Neural Discrete Representation Learning
提出 VQ-VAE，以及后续潜变量生成器所使用的学习型离散瓶颈。
- Generating Diverse High-Fidelity Images with VQ-VAE-2
发展了具有不同码级别的分层离散表示。
- Simple and Effective Masked Diffusion Language Models
给出案例中潜变量生成器采用的掩码离散扩散形式。
证据边界
分阶段方法可以复用，但已报告的阶段排序并非普遍规律。现有实验使用 TinyStories、 一个激进压缩设置、一类分层编解码器、一个掩码离散生成器，并以描述性单次运行为主。 在新系统中应重新执行诊断协议，而不能直接复制这组数值结论。