码空间与 token 空间掩码扩散：如何公平比较

对源文本、编解码器重建、token 空间输出和解码后的码空间输出采用同一个外部评分器与同一套预处理。必须单独报告编解码器重建差距：码空间生成无法恢复编解码器已经丢失的信息。 token 空间模型直接生成文本 token。码空间模型先生成离散潜在码，再依赖解码器恢复文本。两者的最终输出可以比较，但码空间流程多了一个失效点：在潜在生成开始之前，重建损失就可能降低质量上限。 因此，公平比较需要回答两个问题，而不是一个。首先判断编解码器在不生成新码时保留了多少质量；然后在完全一致的解码文本评估协议下，判断每个生成器又引入了多少额外损失。 适用边界： 这些数值只描述一种 TinyStories 压缩配置、一个分层编解码器和论文报告的评估设置，不能证明码空间模型普遍优于 token 空间模型。 困惑度有参考价值，但不能完整衡量语义质量、多样性、事实性或实际用途。 解释这些比较时，必须同时考虑论文给出的样本量与不确定性限制。