Where Quality Breaks in Compressed Short-Text Generation: Staged Bottleneck Localization
压缩短文本生成中的质量断点：分阶段瓶颈定位
通过分阶段诊断，将编解码器重构损失与潜在空间生成损失分离。
发表于 2026 39th Conference of Open Innovations Association (FRUCT)
贡献类型 分阶段瓶颈诊断方法
第 69–76 页主会议论文
英文作者接受稿，包含最终作者名单与 DOI。版权归 IEEE 所有；个人使用获准，其他转载或再利用须获得 IEEE 许可。正式记录以 IEEE DOI 页面为准。
30 秒读懂论文
研究问题如何分别判断压缩文本生成流程中的质量损失来自编解码器，还是来自潜在空间生成器？
问题
压缩短文本的解码质量可能因为编解码器已经丢失信息，也可能因为潜在生成器产生了较差的离散代码。只看最终分数会混淆这两种失效模式，并把优化资源投入错误组件。
方法
分阶段协议用同一个外部 GPT-2 评分器评估原始文本、配对的编解码器重构、token 空间 MDLM 输出和代码空间 MDLM 输出。码本使用率与潜在几何指标仅作为诊断，不替代解码文本质量。
主要结果
仅经过编解码器重构，中位困惑度便从 15.17 上升到 27.36，p95 从 25.10 上升到 98.91。尽管如此，代码空间 MDLM 相比 token 空间 MDLM 仍将中位困惑度降低 30.9%。
研究意义
结果给出可执行的优化顺序：先检查并改进编解码器，再比较 token 空间与代码空间生成；只有当解码文本同步改善时，才把潜在空间代理指标的提升视为真正进展。
关键结果
| 评估点 | 样本数 | 平均困惑度 | 中位困惑度 | p95 困惑度 |
|---|---|---|---|---|
| 原始文本 | 256 | 16.24 | 15.17 | 25.1 |
| 编解码器重构 | 256 | 37.26 | 27.36 | 98.91 |
| 自回归基线 | 251 | 30.98 | 23.27 | 56.11 |
| Token 空间 MDLM | 256 | 44.74 | 38.42 | 93.6 |
| 代码空间 MDLM | 256 | 30.01 | 26.55 | 59.36 |
核心结论。观测到的大部分质量损失发生在生成之前；即便如此，代码空间扩散相比 token 空间扩散仍将中位困惑度降低 30.9%。
- 数据集
- TinyStories
- 样本量
- 256 个配对重构样本；每种生成模式 251–256 个样本；4 个匹配的几何设置。
- 指标
- 外部 GPT-2 困惑度的平均值、中位数、p95 与最大值；码本使用率和支持集大小；几何实验中的 SBERT、BERTScore、MAUVE 与 LLM 评审摘要。
- 不确定性
- 比较来自描述性的单次运行；论文未计算置信区间或多随机种子显著性估计。
- 实验条件
- 长度为 64 的 GPT-2 token 序列，经分层 VQ-VAE-2 压缩为 16 个顶层代码；所有生成模式使用同一个外部评分器。
PDF 与引用
学术元数据与引用。引用记录保留正式英文题名、原始作者姓名与顺序、正式会议名称、DOI，并指向英文 PDF。
@inproceedings{Gavrilov2026WhereQuality,
title = {Where Quality Breaks in Compressed Short-Text Generation: Staged Bottleneck Localization},
author = {Gavrilov, Alexey and Gazzaev, Alan-Barsag and Muravyov, Sergey},
booktitle = {2026 39th Conference of Open Innovations Association (FRUCT)},
publisher = {IEEE},
year = {2026},
pages = {69--76},
doi = {10.23919/FRUCT70069.2026.11506553},
url = {https://doi.org/10.23919/FRUCT70069.2026.11506553},
isbn = {978-952-65246-5-8},
}
完整指南
完整研究指南
摘要
压缩短文本生成器可能在两个不同阶段失效：编解码器可能在生成开始前丢失信息，潜在生成器也可能产生质量较差的代码。如果不区分这两种失效模式，研究者可能把算力投入错误的组件。本文在一个受控的 64→16 TinyStories 设置中研究此问题，该系统由分层 VQ-VAE-2 编解码器和掩码离散扩散生成器（MDLM）组成。我们提出分阶段验证协议，在统一的外部 GPT-2 评分器下分别评估编解码器重构保真度、潜在生成质量和辅助潜在空间诊断，并在几何研究中补充语义指标。在所测试的配置中，仅编解码器重构就使外部困惑度中位数从 15.17 上升到 27.36（+80.4%），p95 从 25.10 上升到 98.91（+294.1%），表明主要质量损失在潜在生成开始之前已经出现。在相同评分器下，代码空间 MDLM 仍明显优于 token 空间扩散，平均值、中位数和 p95 分别降低 32.9%、30.9% 和 36.6%。几何感知正则化改善了局部潜在空间代理指标，却未改善现有运行中的解码文本指标。本文贡献是方法学而非新算法：它为一个具体流程提供可复用的分阶段诊断，并表明在该设置中，编解码器保真度而非潜在去噪决定实际质量上限。
方法
该方法在三个评估阶段使用同一个外部评分器，使每一次新增变换都能对应一个可测量的质量差距。
重构
将每个 64-token TinyStories 样本编码为 16 个顶层离散代码，并立即解码，以测量编解码器重构损失。
生成
使用 MDLM 生成文本 token 或离散潜在代码；代码空间样本再通过同一个已训练编解码器还原为文本。
比较
用同一个外部 GPT-2 协议评估原始文本、重构文本和生成文本，同时报告中位数与尾部统计量。
常见问题
以下回答均以论文报告的具体实验为依据；更严格的适用边界见“局限性”。
压缩短文本生成的质量首先在哪里下降？
在所测试的 TinyStories 64→16 流程中，主要退化出现在编解码器重构阶段，即潜在生成开始之前。外部 GPT-2 困惑度中位数从原始文本的 15.17 上升到重构后的 27.36，p95 从 25.10 上升到 98.91。这是一个具体配置的结果，并非对所有编解码器的普遍排名。
如何区分编解码器损失与潜在生成损失？
分阶段协议用同一个外部评分器评估原始文本、配对重构和最终生成文本。原始文本到重构文本的差距估计编解码器贡献；重构文本到生成输出的比较帮助定位生成阶段新增的损失。潜在空间健康指标与解码文本证据分开报告。
应该怎样评估离散潜在文本生成？
论文建议先检查重构保真度，再比较不同生成器；每个阶段都使用相同的解码文本评分器，并同时报告中心趋势与尾部统计。码本使用率、潜在几何等代理指标应当作为诊断，而不能替代最终解码文本质量。
代码空间扩散是否优于 token 空间扩散？
在统一评分器和所测试设置下，代码空间 MDLM 相比 token 空间 MDLM 将平均、中位和 p95 困惑度分别降低 32.9%、30.9% 和 36.6%。该比较是描述性的并受配置限制，不能建立跨数据集、压缩率、编解码器或扩散架构的普遍排名。
更好的潜在几何指标是否保证生成文本更好？
不能。在现有匹配运行中，几何感知正则化改善了局部潜在空间代理指标，却没有改善解码文本指标。因此，每个代理指标提升都应在最终解码输出上复核；未发生迁移本身也是有价值的负结果。
何时引用本文
当研究需要定位包含学习型编解码器和潜在空间生成器的生成流程中，输出质量究竟在哪个阶段下降时，可以引用本文。
压缩文本与离散潜在文本生成
生成流程中的编解码器重构保真度
代码空间中的掩码扩散语言建模
瓶颈定位与跨阶段一致评估
用解码文本审计潜在空间代理指标的改进
局限性
- 实证研究仅使用 TinyStories。
- 主要分析只覆盖一种较激进的 64→16 压缩设置。
- 被评估系统只包含一种分层 VQ-VAE-2 编解码器系列和一种 MDLM 生成器。
- 比较基于单次运行，属于描述性结果，而非多随机种子统计估计。
- 外部 GPT-2 困惑度是统一诊断指标，并不是普遍适用的语义质量指标。
- 结论不能直接推广到所有数据集、编解码器架构或压缩率。