Where Quality Breaks in Compressed Short-Text Generation: Staged Bottleneck Localization

中文辅助标题：压缩短文本生成中的质量断点：分阶段瓶颈定位

摘要：压缩短文本生成器可能在两个不同阶段失效：编解码器可能在生成开始前丢失信息，潜在生成器也可能产生质量较差的代码。如果不区分这两种失效模式，研究者可能把算力投入错误的组件。本文在一个受控的 64→16 TinyStories 设置中研究此问题，该系统由分层 VQ-VAE-2 编解码器和掩码离散扩散生成器（MDLM）组成。我们提出分阶段验证协议，在统一的外部 GPT-2 评分器下分别评估编解码器重构保真度、潜在生成质量和辅助潜在空间诊断，并在几何研究中补充语义指标。在所测试的配置中，仅编解码器重构就使外部困惑度中位数从 15.17 上升到 27.36（+80.4%），p95 从 25.10 上升到 98.91（+294.1%），表明主要质量损失在潜在生成开始之前已经出现。在相同评分器下，代码空间 MDLM 仍明显优于 token 空间扩散，平均值、中位数和 p95 分别降低 32.9%、30.9% 和 36.6%。几何感知正则化改善了局部潜在空间代理指标，却未改善现有运行中的解码文本指标。本文贡献是方法学而非新算法：它为一个具体流程提供可复用的分阶段诊断，并表明在该设置中，编解码器保真度而非潜在去噪决定实际质量上限。

关键结果：观测到的大部分质量损失发生在生成之前；即便如此，代码空间扩散相比 token 空间扩散仍将中位困惑度降低 30.9%。

证据边界：实证研究仅使用 TinyStories。 主要分析只覆盖一种较激进的 64→16 压缩设置。 被评估系统只包含一种分层 VQ-VAE-2 编解码器系列和一种 MDLM 生成器。 比较基于单次运行，属于描述性结果，而非多随机种子统计估计。 外部 GPT-2 困惑度是统一诊断指标，并不是普遍适用的语义质量指标。 结论不能直接推广到所有数据集、编解码器架构或压缩率。

简体中文导读：https://aogavrilov.com/zh/publications/where-quality-breaks/
英文论文页面：https://aogavrilov.com/publications/where-quality-breaks/
英文论文全文：https://aogavrilov.com/publications/where-quality-breaks/full-text/
英文 PDF：https://aogavrilov.com/publications/where-quality-breaks/paper.pdf
DOI：https://doi.org/10.23919/FRUCT70069.2026.11506553