AG — Alexey Gavrilov home

Where Quality Breaks in Compressed Short-Text Generation: Staged Bottleneck Localization

圧縮された短文生成ではどこで品質が損なわれるのか：段階的なボトルネック特定

コーデック再構成損失と潜在生成損失を切り分ける、圧縮短文生成の段階的診断。

Alexey Gavrilov1Alan-Barsag Gazzaev1Sergey Muravyov1

  1. ITMO University, Saint Petersburg, Russia

論文全文を HTML で読む数式、表、図、参考文献を含む検索可能なテキスト。

最終採択原稿（著者公開版、DOI付き）。 © 2026 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting or republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works. 公開および再利用の条件.

30秒でわかる論文概要

研究課題圧縮テキスト生成パイプラインの品質低下について、コーデックと潜在生成器それぞれの寄与をどう切り分けるか？

課題

圧縮された短文の生成では、復号テキストの品質不良は、コーデックによる情報損失または潜在空間での生成能力不足に起因し得る。エンドツーエンドのスコアでは、これらの故障モードが曖昧になり、誤った構成要素の最適化に労力を費やすおそれがある。

手法

段階的プロトコルでは、原文、対応するコーデック再構成、トークン空間MDLMの出力、コード空間拡散の出力を、単一の外部GPT-2評価器で採点する。コードブック指標と幾何学的指標はあくまで診断指標であり、復号テキスト品質の代替ではない。

主な結果

コーデック再構成により、外部パープレキシティの中央値は15.17から27.36へ、p95は25.10から98.91へ上昇する。それでもコード空間MDLMは、トークン空間MDLMと比べて中央値を30.9%低減する。

重要である理由

この結果から、コーデックのボトルネック診断に基づく具体的な作業順序が得られる。まずコーデックの改善を優先し、次にトークン空間生成とコード空間生成を比較する。潜在表現の代理指標の改善は、復号テキストも改善した場合にのみ有効な改善と判断する。

要旨

圧縮短文生成器では、二つの異なる箇所で失敗が生じ得る。生成開始前にコーデックが情報を破棄する場合と、潜在生成器が質の低いコードを生成する場合である。これらの失敗モードを分離しなければ、研究者は誤った構成要素の改善に計算資源を費やしかねない。本研究では、階層型VQ-VAE-2コーデックとマスク離散拡散生成器（MDLM）から成る、制御された64対16のTinyStories事例を通じてこの問題を検討する。共通の外部GPT-2評価器の下で、コーデック再構成忠実度、潜在生成品質、補助的な潜在診断を分離する段階的検証プロトコルを用い、幾何学的性質の検討には相補的な意味指標も報告する。検証した構成では、コーデック再構成だけで外部パープレキシティの中央値が15.17から27.36（+80.4%）へ、p95が25.10から98.91（+294.1%）へ上昇し、支配的な品質損失が潜在生成の開始前に生じることが示された。同じ評価器では、コード空間MDLMはトークン空間拡散を実質的に上回り、平均値、中央値、p95をそれぞれ32.9%、30.9%、36.6%低減した。幾何学的性質を考慮した正則化は局所的な潜在代理指標を改善するものの、利用可能な実行結果では復号テキスト指標を改善しなかった。本研究の貢献はアルゴリズムではなく方法論にある。具体的な一つのパイプラインに再利用可能な段階的診断法を提示し、この設定では潜在表現のノイズ除去ではなくコーデック忠実度が実用上の品質上限を規定することを示す。

発表先 2026 39th Conference of Open Innovations Association (FRUCT)

貢献の種類 診断方法論

第1号pp. 69–76本会議

DOI https://doi.org/10.23919/FRUCT70069.2026.11506553

この論文を共有共有

主要結果

『圧縮短文生成における品質劣化の所在：段階的ボトルネック同定』の主要結果
評価時点n平均 PPLPPL 中央値p95 PPL
原文25616.2415.1725.1
コーデック再構成結果25637.2627.3698.91
AR ベースライン25130.9823.2756.11
トークン空間MDLM25644.7438.4293.6
コード空間MDLM25630.0126.5559.36

主要結果。 観測された品質低下の大半は生成前に生じている。それでもコード空間拡散は、トークン空間拡散と比べてパープレキシティ中央値を 30.9% 低減する。

データセット
TinyStories
標本サイズ
対を成す再構成サンプル256件、各モードの生成サンプル251–256件、対応条件を揃えた4種類の幾何設定。
評価指標
外部GPT-2パープレキシティ: 平均値、中央値、p95、最大値。コードブック使用率と台集合サイズ。幾何実験におけるSBERT、BERTScore、MAUVE、およびLLM判定器の要約
不確実性
報告された比較は記述的な単回実行に基づくものであり、信頼区間および複数シードによる有意性推定は算出していない。
条件
長さ64のGPT-2トークン列を階層型VQ-VAE-2で16個の最上位コードに圧縮する。すべての生成方式で共通の外部評価器を用いる。

結果をダウンロード:CSVJSONMarkdown外部ミラー:Hugging Faceデータセットカード

PDF と引用情報

本論文の引用方法 推奨形式は BibTeX である。以下の各形式は、すべて同一の出版レコードから生成される。

PDF を開く
@inproceedings{Gavrilov2026WhereQuality,
  title      = {Where Quality Breaks in Compressed Short-Text Generation: Staged Bottleneck Localization},
  author     = {Gavrilov, Alexey and Gazzaev, Alan-Barsag and Muravyov, Sergey},
  booktitle  = {2026 39th Conference of Open Innovations Association (FRUCT)},
  publisher  = {IEEE},
  year       = {2026},
  pages      = {69--76},
  doi        = {10.23919/FRUCT70069.2026.11506553},
  url        = {https://doi.org/10.23919/FRUCT70069.2026.11506553},
  isbn       = {978-952-65246-5-8},
}
.bibをダウンロード

引用ファイル：APA テキストIEEE本文RISCSL-JSONSchema.org JSON-LDOAI-DC XMLOpenAIRE v4 XMLMODS XMLJATS 1.4メタデータXML全文JATS 1.4 XMLRDF Turtleリンクセット（JSON）リンクセット（HTTP）RO-Crate

DOI:https://doi.org/10.23919/FRUCT70069.2026.11506553

完全版ガイド

研究ガイド完全版

手法

本論文は3段階の評価すべてで同一の評価器を用い、変換を追加するたびに生じる品質差を測定可能にしている。

  1. 再構成する

    64トークンの各TinyStories標本を16個の最上位コードに符号化し、直ちに復号してコーデック再構成損失を測定する。

  2. 生成

    MDLMでテキストトークンまたは離散潜在コードを生成し、コード空間の標本を同一の学習済みコーデックで復号する。

  3. 比較

    原文、再構成テキスト、生成テキストを、中央値と裾部の統計を含む同一の外部 GPT-2 プロトコルで評価する。

原文、コーデック再構成、コード空間MDLM、および復号テキストを比較し、コーデック損失と生成損失を分離する段階的な圧縮テキスト生成パイプライン。
段階的ボトルネック特定では、共通の復号テキスト評価プロトコルの下で、コーデック再構成損失と潜在生成損失を分離する。出典： 公表済みの手法と結果に基づき著者が作成した解説図。.再利用条件： CC BY 4.0.推奨される出典表記：Gavrilov, Gazzaev, and Muravyov (2026), Where Quality Breaks in Compressed Short-Text Generation. SVGをダウンロード.

中心的な着想

後段の生成器は、コーデックがすでに破棄した情報を復元できない。したがって、潜在生成の結果を解釈する前に再構成段階を監査する必要がある。

関連手法との相違点

標準的なエンドツーエンド比較では、最終的な生成スコアを一つだけ報告する。本プロトコルは、対応のある再構成チェックポイントを追加し、潜在空間の健全性指標と復号テキスト上のエビデンスを分離する。

新規性

本研究の貢献は、新しいノイズ除去アルゴリズムではなく、具体的な一つの圧縮テキストパイプラインに適用できる、再利用可能な段階的診断手法である。

本論文が回答に資する問い

問いを開くと、論文に基づく簡潔な回答を確認できる。エビデンスの詳細な適用範囲は「限界」に記載している。

  1. 圧縮された短文生成では、どの段階で品質が損なわれるのか？

    検証したTinyStoriesの64対16パイプラインでは、主要な劣化は潜在生成の開始前、すなわちコーデック再構成の段階で生じている。外部GPT-2パープレキシティの中央値は、原文の15.17から再構成後の27.36へ上昇し、p95も25.10から98.91へ上昇する。これは単一設定での結果であり、コーデックの普遍的な順位付けではない。

  2. コーデック損失と潜在生成損失をどう分離できるか？

    段階的プロトコルでは、原文、対応するコーデック再構成、最終生成テキストを、共通の外部評価器で評価する。原文と再構成の差からコーデックの寄与を推定し、再構成と生成出力の比較から生成段階で付加された損失の所在を絞り込む。潜在表現の健全性指標は、復号テキストに基づく証拠とは分けて報告する。

  3. 離散潜在表現によるテキスト生成をどう評価すべきか？

    本論文は、生成器を比較する前に再構成忠実度を確認し、各段階で同一の復号テキスト評価器を適用するとともに、分布の中心と裾部の統計量を報告することを推奨する。また、コードブック利用率、幾何構造、およびその他の潜在表現の代理指標を診断材料と位置付け、復号テキストの品質を代替するものとはみなさない。

  4. コード空間拡散はトークン空間拡散を上回るのか？

    共通の評価器を用いた検証設定では、コード空間 MDLM のパープレキシティは、トークン空間 MDLM と比べて平均値、中央値、p95がそれぞれ32.9%、30.9%、36.6%低かった。この比較は記述的かつ設定固有であり、データセット、圧縮率、コーデック、拡散アーキテクチャをまたぐ普遍的な優劣を示すものではない。

  5. 潜在幾何の指標が改善すれば、生成テキストの品質も必ず向上するのか？

    いいえ。利用可能な条件対応済みの実行では、幾何認識正則化によって潜在空間の局所的な代理指標は改善したものの、復号テキストの指標は改善しなかった。この結果は、代理指標の改善を最終的な復号出力ですべて検証し、改善が転移しなかった事実を生成改善の証拠ではなく、有用な否定的結果として扱うべきことを示している。

関連手法との比較

『圧縮短文生成における品質劣化の所在：段階的ボトルネック同定』と関連手法の事実に基づく比較
手法表現制御／診断保持または測定されるもの
トークン空間拡散テキストトークントークン空間における生成品質直接生成の流暢性と評価器の挙動
圧縮潜在表現による生成コーデックによる離散潜在コード最終的なエンドツーエンド生成品質コーデックと潜在生成器を組み合わせた場合の挙動
段階的ボトルネック特定テキスト、コーデック再構成、および離散潜在表現コーデック損失と生成損失を分離する共通評価器の下で品質が低下する段階

この比較は評価範囲とエビデンスを区別するものであり、各手法の普遍的な順位付けではない。

関連性と対象範囲

段階的プロトコルは、生成パイプラインが学習済みコーデックと潜在空間生成器の双方を含み、出力品質の低下要因が不明な場合に有用である。

  1. 圧縮表現および離散潜在表現によるテキスト生成

  2. 生成パイプラインにおけるコーデック再構成忠実度

  3. コード空間におけるマスク付き拡散言語モデリング

  4. ボトルネックの特定と段階整合的評価

  5. 復号テキストに照らした潜在空間代理指標の改善の監査

限界とエビデンスの適用範囲を見る

限界

  • 実証研究で使用するのはTinyStoriesのみである。
  • 主分析が対象とするのは、64から16へ圧縮する単一の高圧縮設定である。
  • 評価対象システムは、単一の階層型VQ-VAE-2コーデック系列と単一のMDLM生成器を組み合わせている。
  • 比較は単一実行に基づく記述的なものであり、複数シードによる統計的推定ではない。
  • 外部GPT-2パープレキシティは共通の診断指標であり、意味品質を普遍的に測る指標ではない。
  • 結論を、あらゆるデータセット、コーデックアーキテクチャ、または圧縮率へ直接適用すべきではない。

論文の引用文献

これらの項目は、論文PDFの番号付き参考文献欄に対応する。

  1. Subham Sekhar Sahoo, Marianne Arriola, Yair Schiff, Aaron Gokaslan, Edgar Marroquin, Justin T Chiu, Alexander Rush, Volodymyr Kuleshov. . Simple and Effective Masked Diffusion Language Models. Advances in Neural Information Processing Systems.
  2. Aaron van den Oord, Oriol Vinyals, Koray Kavukcuoglu. . Neural Discrete Representation Learning. Advances in Neural Information Processing Systems.
  3. Ali Razavi, Aaron van den Oord, Oriol Vinyals. . Generating Diverse High-Fidelity Images with VQ-VAE-2. Advances in Neural Information Processing Systems.
  4. Jacob Austin, Daniel D. Johnson, Jonathan Ho, Daniel Tarlow, Rianne van den Berg. . Structured Denoising Diffusion Models in Discrete State-Spaces. Advances in Neural Information Processing Systems.
  5. Aaron Lou, Chenlin Meng, Stefano Ermon. . Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution. Proceedings of the 41st International Conference on Machine Learning.
  6. Xiaochuang Han, Sachin Kumar, Yulia Tsvetkov. . SSD-LM: Semi-autoregressive Simplex-based Diffusion Language Model for Text Generation and Modular Control. Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics.
  7. Xiang Lisa Li, John Thickstun, Ishaan Gulrajani, Percy Liang, Tatsunori B. Hashimoto. . Diffusion-LM Improves Controllable Text Generation. Advances in Neural Information Processing Systems.
  8. Huiwen Chang, Han Zhang, Lu Jiang, Ce Liu, William T. Freeman. . MaskGIT: Masked Generative Image Transformer. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.
  9. Marjan Ghazvininejad, Omer Levy, Yinhan Liu, Luke Zettlemoyer. . Mask-Predict: Parallel Decoding of Conditional Masked Language Models. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing.
  10. Emiel Hoogeboom, Didrik Nielsen, Priyank Jaini, Patrick Forré, Max Welling. . Argmax Flows and Multinomial Diffusion: Learning Categorical Distributions. Advances in Neural Information Processing Systems.
  11. Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever. . Language Models are Unsupervised Multitask Learners. OpenAI Technical Report.
  12. Nils Reimers, Iryna Gurevych. . Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing.
  13. Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, Yoav Artzi. . BERTScore: Evaluating Text Generation with BERT. International Conference on Learning Representations.
  14. Krishna Pillutla, Swabha Swayamdipta, Rowan Zellers, John Thickstun, Sean Welleck, Yejin Choi, Zaid Harchaoui. . MAUVE: Measuring the Gap Between Neural Text and Human Text using Divergence Frontiers. Advances in Neural Information Processing Systems.
  15. Lianmin Zheng, Wei-Lin Chiang, Ying Sheng, Siyuan Zhuang, Zhanghao Wu, Yonghao Zhuang, Zi Lin, Zhuohan Li, Dacheng Li, Eric P. Xing, Hao Zhang, Joseph E. Gonzalez, Ion Stoica. . Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. Advances in Neural Information Processing Systems, Datasets and Benchmarks Track.

資料・再現可能性

出版社
IEEE
出版物関連資料
公開原稿、結果表、解説図、引用情報ファイルを本ページから入手できる。実装コードとチェックポイントは公開されていない。

データに関する声明

出典
論文に記載されたTinyStories。
ライセンス
TinyStoriesの利用には引き続き当該データセット固有の規約が適用される。本サイトではデータセットのファイルを再配布しない。
前処理
GPT-2トークン化、固定長64トークンの入力、および64位置から32位置、16位置へと縮約する階層的な時間方向圧縮。
分割
本出版物は、対応のある再構成サンプル256件と、モードごとに251～256件の生成サンプルを報告しているが、再利用可能な訓練・検証分割マニフェストは公開していない。
形式
短文サンプル、GPT-2トークン列、離散コード列、生成ログ、および集計表。
バージョン／チェックサム
論文には、データセットのチェックサムも不変な TinyStories スナップショット識別子も記載されていない。
取得方法
公開取得スクリプトは論文ページとともに提供されていない。
利用上の制約
エビデンスの対象は短い合成物語であり、制約のない自然言語生成のベンチマークとして扱うべきではない。

バージョン

  6. 会議論文集索引FRUCT 39 公式巻
  7. 会議論文集PDFFRUCT公開全文
  8. 学術レコードを開くOpenAlex
  9. 引用グラフレコードSemantic Scholar
  10. 著者共有の全文ResearchGate

公開済みDOIを主要な書誌識別子とする。このページは、すべての版を通じて単一の正規プロジェクトURLである。

こちらを読む： コーデックのボトルネック診断 研究ガイド。著者について.

焦点を絞った研究ノート

エビデンスの適用範囲と本論文へのリンクを明示した、目的別の回答。