研究笔记
码空间与 token 空间掩码扩散：如何公平比较
当离散编解码器存在有损压缩时，用阶段一致的协议比较码空间与 token 空间掩码扩散语言模型，并单独测量编解码器重建损失。
直接回答
应如何比较码空间与 token 空间的掩码扩散语言建模？
对源文本、编解码器重建、token 空间输出和解码后的码空间输出采用同一个外部评分器与同一套预处理。必须单独报告编解码器重建差距：码空间生成无法恢复编解码器已经丢失的信息。
为什么这一区分重要
方法采用的边界必须与所声称的保证对应同一个可观察属性。
token 空间模型直接生成文本 token。码空间模型先生成离散潜在码，再依赖解码器恢复文本。两者的最终输出可以比较，但码空间流程多了一个失效点：在潜在生成开始之前，重建损失就可能降低质量上限。
因此，公平比较需要回答两个问题，而不是一个。首先判断编解码器在不生成新码时保留了多少质量；然后在完全一致的解码文本评估协议下，判断每个生成器又引入了多少额外损失。
实用步骤
建立源文本基线
使用后续所有阶段都会采用的评分器和预处理，对留出的源文本进行评分。
在生成之前测量重建
对同一批样本只执行编码和解码，不采样新码，从而隔离编解码器施加的质量上限。
解码后再比较两个生成空间
直接评分 token 空间样本；对码空间样本先解码再评分。不要把潜在空间代理指标与解码文本指标直接比较。
报告分布与不确定性
同时给出中位数、尾部表现、样本数量、预处理方式和重复运行的不确定性；单一平均值可能掩盖严重的重建失败。
应要求哪些证据
主张的强度取决于生成或解码后真正被测量的属性。
- 每个检查点使用同一个外部解码文本评分器和同一套预处理。
- 分别报告源文本、重建文本、token 空间输出和解码后的码空间输出。
- 不把编解码器重建差距归因于潜在生成器。
- 除平均值外，同时报告中位数和尾部表现。
- 在推广微小差异之前，报告随机种子或不确定性估计。
相关研究实际报告了什么
- 在论文报告的 TinyStories 64→16 压缩设置中，仅编解码器重建就使外部困惑度中位数从 15.17 上升到 27.36。
- 在同一评分器下，码空间 MDLM 的困惑度中位数为 26.55，token 空间基线为 38.42；在该实验中，码空间生成的困惑度降低了 30.9%。
- 在可比运行中，几何感知正则化改善了局部潜在空间诊断指标，但没有改善解码文本指标。
适用边界
- 这些数值只描述一种 TinyStories 压缩配置、一个分层编解码器和论文报告的评估设置，不能证明码空间模型普遍优于 token 空间模型。
- 困惑度有参考价值，但不能完整衡量语义质量、多样性、事实性或实际用途。
- 解释这些比较时，必须同时考虑论文给出的样本量与不确定性限制。
主要与邻近来源
请使用链接论文查阅原始方法、测量结果和作者声明的局限。
- Where Quality Breaks in Compressed Short-Text Generation
主要论文及其分阶段测量结果。
- Simple and Effective Masked Diffusion Language Models
潜在生成器所采用的掩码离散扩散形式。
- Neural Discrete Representation Learning
学习式离散表示的奠基方法。