AG — Alexey Gavrilov home

Where Quality Breaks in Compressed Short-Text Generation: Staged Bottleneck Localization

Wo Qualität bei komprimierter Kurztextgenerierung einbricht: stufenweise Lokalisierung von Engpässen

Eine stufenweise Diagnose komprimierter Kurztextgenerierung, die den Codec-Rekonstruktionsverlust vom Generierungsverlust im latenten Raum trennt.

Alexey Gavrilov1Alan-Barsag Gazzaev1Sergey Muravyov1

  1. ITMO University, Saint Petersburg, Russia

Vollständigen Beitrag im HTML-Format lesenDurchsuchbarer Text mit Formeln, Tabellen, Abbildungen und Literaturangaben.

Endgültig angenommenes Manuskript (vom Autor bereitgestellte Fassung mit DOI). © 2026 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting or republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works. Bedingungen für Veröffentlichung und Wiederverwendung.

Der Beitrag in 30 Sekunden

ForschungsfrageWie lässt sich der Qualitätsverlust in einer Pipeline zur komprimierten Textgenerierung getrennt dem Codec und dem latenten Generator zuordnen?

Problemstellung

Bei der komprimierten Kurztextgenerierung kann eine geringe Qualität des dekodierten Textes sowohl auf Informationsverluste im Codec als auch auf eine schwache Generierung im latenten Raum zurückgehen. Ende-zu-Ende-Metriken verwischen diese Fehlerursachen und können dazu führen, dass Optimierungsaufwand auf die falsche Komponente gerichtet wird.

Ansatz

Das stufenweise Protokoll bewertet Originaltexte, die zugehörigen Codec-Rekonstruktionen, MDLM-Ausgaben im Tokenraum und Diffusionsausgaben im Coderaum mit demselben externen GPT-2-Evaluator. Maße für Codebuch und Geometrie bleiben Diagnosegrößen und ersetzen nicht die Qualitätsbewertung des dekodierten Textes.

Hauptergebnis

Die Codec-Rekonstruktion erhöht den Median der externen Perplexität von 15.17 auf 27.36 und p95 von 25.10 auf 98.91. Dennoch senkt MDLM im Coderaum die mediane Perplexität gegenüber MDLM im Tokenraum um 30.9%.

Warum dies relevant ist

Das Ergebnis überführt die Diagnose von Codec-Engpässen in eine umsetzbare Arbeitsreihenfolge: Zunächst sind Codec-Verbesserungen zu priorisieren, anschließend Generierung im Token- und Coderaum zu vergleichen; Verbesserungen latenter Proxyindikatoren sind nur dann belastbar, wenn sich auch der decodierte Text verbessert.

Zusammenfassung

Komprimierte Kurztextgeneratoren können an zwei verschiedenen Stellen versagen: Der Codec kann Informationen verwerfen, bevor die Generierung beginnt, oder der latente Generator kann unzureichende Codes erzeugen. Ohne eine Trennung dieser Fehlermodi besteht die Gefahr, Rechenressourcen in die Verbesserung der falschen Komponente zu investieren. Wir untersuchen das Problem anhand einer kontrollierten TinyStories-Fallstudie mit einer Kompression von 64 auf 16, einem hierarchischen VQ-VAE-2-Codec und einem Generator mit maskierter diskreter Diffusion (MDLM). Unser stufenweises Validierungsprotokoll trennt die Rekonstruktionstreue des Codecs, die Qualität der Generierung im latenten Raum und ergänzende latente Diagnosemaße unter einem gemeinsamen externen GPT-2-Bewertungsmodell; für die Geometriestudie berichten wir zusätzlich komplementäre semantische Metriken. In der getesteten Konfiguration erhöht bereits die Codec-Rekonstruktion den Median der externen Perplexität von 15.17 auf 27.36 (+80.4%) und p95 von 25.10 auf 98.91 (+294.1%). Der überwiegende Qualitätsverlust tritt somit vor Beginn der Generierung im latenten Raum auf. Unter demselben Bewertungsmodell bleibt MDLM im Coderaum substanziell besser als die Diffusion im Tokenraum und senkt Mittelwert, Median und p95 um 32.9%, 30.9% beziehungsweise 36.6%. Geometriebewusste Regularisierung verbessert in den verfügbaren Läufen lokale Proxymaße im latenten Raum, nicht jedoch die Metriken des dekodierten Textes. Der Beitrag ist methodischer, nicht algorithmischer Art: Er stellt eine wiederverwendbare stufenweise Diagnose für eine konkrete Pipeline vor und zeigt, dass in dieser Konfiguration die Rekonstruktionstreue des Codecs und nicht die Entrauschung im latenten Raum die praktische Qualitätsobergrenze bestimmt.

Erschienen in 2026 39th Conference of Open Innovations Association (FRUCT)

Art des Beitrags Diagnostische Methodik

Ausgabe 1S. 69–76Hauptkonferenz

DOI https://doi.org/10.23919/FRUCT70069.2026.11506553

Diesen Beitrag teilenTeilen

Zentrale Ergebnisse

Zentrale Ergebnisse von Where Quality Breaks in Compressed Short-Text Generation: Staged Bottleneck Localization
EvaluationspunktnMittlere PPLMedian der PPLp95 PPL
Originaltexte25616.2415.1725.1
Codec-Rekonstruktionen25637.2627.3698.91
AR-Baseline25130.9823.2756.11
MDLM im Tokenraum25644.7438.4293.6
MDLM im Coderaum25630.0126.5559.36

Zentrales Ergebnis. Der größte Teil des beobachteten Qualitätsverlusts entsteht vor der Generierung; dennoch senkt die Diffusion im Coderaum die mediane Perplexität gegenüber der Diffusion im Tokenraum um 30.9%.

Datensatz
TinyStories
Stichprobengröße
256 gepaarte Rekonstruktionsstichproben; 251–256 generierte Stichproben je Modus; vier aufeinander abgestimmte Geometriekonfigurationen.
Metriken
Externe GPT-2-Perplexität: Mittelwert, Median, p95 und Maximum; Codebuchnutzung und Trägergröße; SBERT, BERTScore, MAUVE sowie eine Zusammenfassung durch einen LLM-Juror für die Geometrieversuche
Unsicherheit
Bei den berichteten Vergleichen handelt es sich um deskriptive Einzelläufe; Konfidenzintervalle und Signifikanzschätzungen über mehrere Zufallsstarts hinweg wurden nicht berechnet.
Bedingungen
GPT-2-Tokensequenzen der Länge 64, die mit einem hierarchischen VQ-VAE-2 auf 16 Codes der obersten Ebene komprimiert wurden; alle Generierungsmodi verwenden dasselbe externe Bewertungsmodell.

Ergebnisse herunterladen:CSVJSONMarkdownExterner Spiegel:Hugging-Face-Datensatzkarte

PDF und Zitierhinweise

Diese Arbeit zitieren BibTeX ist das empfohlene Format. Alle nachstehenden Varianten werden aus demselben Publikationseintrag erzeugt.

PDF öffnen
@inproceedings{Gavrilov2026WhereQuality,
  title      = {Where Quality Breaks in Compressed Short-Text Generation: Staged Bottleneck Localization},
  author     = {Gavrilov, Alexey and Gazzaev, Alan-Barsag and Muravyov, Sergey},
  booktitle  = {2026 39th Conference of Open Innovations Association (FRUCT)},
  publisher  = {IEEE},
  year       = {2026},
  pages      = {69--76},
  doi        = {10.23919/FRUCT70069.2026.11506553},
  url        = {https://doi.org/10.23919/FRUCT70069.2026.11506553},
  isbn       = {978-952-65246-5-8},
}
.bib herunterladen

Zitationsdateien:APA-TextIEEE-TextRISCSL-JSONSchema.org JSON-LDOAI-DC XMLOpenAIRE v4 XMLMODS XMLJATS-1.4-Metadaten-XMLVolltext im Format JATS 1.4 XMLRDF TurtleLink-Set (JSON)Link-Set (HTTP)RO-Crate

DOI:https://doi.org/10.23919/FRUCT70069.2026.11506553

Vollständiger Leitfaden

Vollständiger Forschungsleitfaden

Methode

Der Beitrag verwendet über drei Evaluierungsstufen hinweg denselben Bewerter, sodass jede zusätzliche Transformation einer messbaren Qualitätslücke zugeordnet werden kann.

  1. Rekonstruieren

    Codieren Sie jedes TinyStories-Beispiel mit 64 Token in 16 Codes der obersten Ebene und decodieren Sie es unmittelbar, um den Codec-Rekonstruktionsverlust zu messen.

  2. Generieren

    Generieren Sie mit MDLM entweder Texttoken oder diskrete latente Codes und decodieren Sie anschließend die Stichproben aus dem Coderaum mit demselben trainierten Codec.

  3. Vergleichen

    Originale, Rekonstruktionen und generierte Texte nach demselben externen GPT-2-Protokoll bewerten, einschließlich Median- und Randstatistiken.

Stufenweise Pipeline zur komprimierten Textgenerierung, die Originaltext, Codec-Rekonstruktion, MDLM im Coderaum und dekodierten Text vergleicht, um Codec- und Generierungsverlust voneinander zu trennen.
Die stufenweise Lokalisierung von Engpässen trennt den Codec-Rekonstruktionsverlust vom Generierungsverlust im latenten Raum und verwendet dabei ein gemeinsames Bewertungsprotokoll für dekodierten Text.Quelle: Von den Autoren erstelltes Erläuterungsdiagramm auf Grundlage der veröffentlichten Methode und Ergebnisse..Bedingungen für die Nachnutzung: CC BY 4.0.Empfohlene Quellenangabe: Gavrilov, Gazzaev und Muravyov (2026), Where Quality Breaks in Compressed Short-Text Generation. SVG herunterladen.

Grundgedanke

Ein nachgelagerter Generator kann Informationen, die der Codec bereits verworfen hat, nicht wiederherstellen. Daher muss die Rekonstruktionsstufe geprüft werden, bevor Ergebnisse der Generierung im latenten Raum interpretiert werden.

Abgrenzung gegenüber verwandten Ansätzen

Übliche Ende-zu-Ende-Vergleiche berichten einen einzigen abschließenden Generierungswert. Dieses Protokoll fügt einen gepaarten Rekonstruktionsprüfpunkt ein und trennt Zustandsmetriken im latenten Raum von der Evidenz am decodierten Text.

Was ist neu?

Der Beitrag besteht in einer wiederverwendbaren stufenweisen Diagnosemethodik für eine konkrete Pipeline komprimierter Texte, nicht in einem neuen Entrauschungsalgorithmus.

Fragen, zu deren Beantwortung dieser Beitrag beiträgt

Öffnen Sie eine Frage für eine knappe, auf der Publikation beruhende Antwort. Detaillierte Evidenzgrenzen sind unter „Einschränkungen“ aufgeführt.

  1. An welcher Stelle bricht die Qualität bei der Generierung komprimierter Kurztexte ein?

    In der getesteten TinyStories-Pipeline mit einer Kompression von 64 auf 16 tritt die maßgebliche Verschlechterung offenbar bereits bei der Codec-Rekonstruktion auf, noch bevor die Generierung im latenten Raum beginnt. Die mediane externe GPT-2-Perplexität steigt von 15.17 für den Originaltext auf 27.36 nach der Rekonstruktion; zugleich erhöht sich p95 von 25.10 auf 98.91. Dieses Ergebnis gilt für eine einzelne Konfiguration und stellt keine allgemeingültige Rangfolge von Codecs dar.

  2. Wie lässt sich der Codec-Verlust vom Verlust der Generierung im latenten Raum trennen?

    Das stufenweise Protokoll bewertet Originale, zugehörige Codec-Rekonstruktionen und den schließlich generierten Text mit demselben externen Bewertungsmodell. Die Differenz zwischen Original und Rekonstruktion schätzt den Beitrag des Codecs, während der Vergleich von Rekonstruktion und generierter Ausgabe dazu beiträgt, den zusätzlichen Generierungsverlust zu lokalisieren. Zustandsmetriken des latenten Raums werden getrennt von der Evidenz am dekodierten Text ausgewiesen.

  3. Wie sollte die Textgenerierung mit diskreten latenten Repräsentationen evaluiert werden?

    Der Beitrag empfiehlt, vor dem Vergleich von Generatoren die Rekonstruktionstreue zu prüfen, auf jeder Stufe denselben Bewerter für decodierten Text einzusetzen und Statistiken für Zentrum und Verteilungsränder zu berichten. Zudem werden Codebuchnutzung, Geometrie und andere latente Proxyindikatoren als Diagnosegrößen und nicht als Ersatz für die Qualität decodierten Textes behandelt.

  4. Übertrifft die Diffusion im Coderaum die Diffusion im Tokenraum?

    Unter dem gemeinsamen Bewertungsmodell und im untersuchten Aufbau reduziert MDLM im Coderaum die mittlere, mediane und p95-Perplexität gegenüber MDLM im Tokenraum um 32.9%, 30.9% beziehungsweise 36.6%. Der Vergleich ist deskriptiv und konfigurationsspezifisch: Er begründet keine universelle Rangfolge über Datensätze, Kompressionsraten, Codecs oder Diffusionsarchitekturen hinweg.

  5. Garantieren bessere Metriken der latenten Geometrie bessere generierte Texte?

    Nein. In den verfügbaren vergleichbaren Läufen verbesserte die geometriebewusste Regularisierung lokale Proxy-Metriken im latenten Raum, nicht jedoch die Metriken des decodierten Textes. Das Ergebnis spricht dafür, jeden Zugewinn bei Proxy-Metriken an der endgültigen decodierten Ausgabe zu überprüfen und das Ausbleiben einer Übertragung als nützliches negatives Ergebnis zu werten, nicht als Beleg für eine verbesserte Generierung.

Vergleich mit verwandten Ansätzen

Sachlicher Vergleich von Where Quality Breaks in Compressed Short-Text Generation: Staged Bottleneck Localization mit verwandten Ansätzen
AnsatzRepräsentationSteuerung / DiagnoseWas wird erhalten oder gemessen?
Diffusion im TokenraumText-TokenGenerierungsqualität im TokenraumFlüssigkeit und Verhalten des Bewertungsmodells bei direkter Generierung
Komprimierte latente GenerierungDiskrete latente Codes mittels eines CodecsAbschließende Ende-zu-Ende-GenerierungsqualitätZusammenspiel von Codec und latentem Generator
Stufenweise Lokalisierung von EngpässenText, Codec-Rekonstruktionen und diskrete latente VariablenCodec-Verlust und Generierungsverlust getrennt betrachtenWo die Qualität unter einem gemeinsamen Bewertungsmodell abnimmt

Der Vergleich differenziert Bewertungsumfang und Evidenz; er stellt keine allgemeingültige Rangfolge der Ansätze dar.

Relevanz und Geltungsbereich

Das stufenweise Protokoll ist hilfreich, wenn eine generative Pipeline sowohl einen erlernten Codec als auch einen Generator im latenten Raum umfasst, die Ursache der verminderten Ausgabequalität jedoch unklar ist.

  1. Komprimierte Textgenerierung mit diskreten latenten Repräsentationen

  2. Wiedergabetreue der Codec-Rekonstruktion in generativen Pipelines

  3. Sprachmodellierung mittels maskierter Diffusion im Coderaum

  4. Lokalisierung von Engpässen und stufenkonsistente Bewertung

  5. Verbesserungen von Proxys im latenten Raum anhand decodierten Textes prüfen

Einschränkungen und Grenzen der Evidenz anzeigen

Einschränkungen

  • Die empirische Studie verwendet ausschließlich TinyStories.
  • Die Hauptanalyse behandelt ein einzelnes aggressives Kompressionsregime von 64 auf 16.
  • Das evaluierte System kombiniert eine hierarchische VQ-VAE-2-Codec-Familie mit einem MDLM-Generator.
  • Die Vergleiche beruhen auf Einzelläufen und sind deskriptiv, nicht als statistische Schätzungen über mehrere Seeds hinweg zu verstehen.
  • Die externe GPT-2-Perplexität ist ein gemeinsames Diagnosemaß, jedoch keine universelle Metrik für semantische Qualität.
  • Die Schlussfolgerungen sollten nicht unmittelbar auf sämtliche Datensätze, Codec-Architekturen oder Kompressionsraten übertragen werden.

Im Beitrag zitierte Literatur

Diese Einträge entsprechen dem nummerierten Literaturverzeichnis im PDF der Arbeit.

  1. Subham Sekhar Sahoo, Marianne Arriola, Yair Schiff, Aaron Gokaslan, Edgar Marroquin, Justin T Chiu, Alexander Rush, Volodymyr Kuleshov. . Simple and Effective Masked Diffusion Language Models. Advances in Neural Information Processing Systems.
  2. Aaron van den Oord, Oriol Vinyals, Koray Kavukcuoglu. . Neural Discrete Representation Learning. Advances in Neural Information Processing Systems.
  3. Ali Razavi, Aaron van den Oord, Oriol Vinyals. . Generating Diverse High-Fidelity Images with VQ-VAE-2. Advances in Neural Information Processing Systems.
  4. Jacob Austin, Daniel D. Johnson, Jonathan Ho, Daniel Tarlow, Rianne van den Berg. . Structured Denoising Diffusion Models in Discrete State-Spaces. Advances in Neural Information Processing Systems.
  5. Aaron Lou, Chenlin Meng, Stefano Ermon. . Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution. Proceedings of the 41st International Conference on Machine Learning.
  6. Xiaochuang Han, Sachin Kumar, Yulia Tsvetkov. . SSD-LM: Semi-autoregressive Simplex-based Diffusion Language Model for Text Generation and Modular Control. Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics.
  7. Xiang Lisa Li, John Thickstun, Ishaan Gulrajani, Percy Liang, Tatsunori B. Hashimoto. . Diffusion-LM Improves Controllable Text Generation. Advances in Neural Information Processing Systems.
  8. Huiwen Chang, Han Zhang, Lu Jiang, Ce Liu, William T. Freeman. . MaskGIT: Masked Generative Image Transformer. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.
  9. Marjan Ghazvininejad, Omer Levy, Yinhan Liu, Luke Zettlemoyer. . Mask-Predict: Parallel Decoding of Conditional Masked Language Models. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing.
  10. Emiel Hoogeboom, Didrik Nielsen, Priyank Jaini, Patrick Forré, Max Welling. . Argmax Flows and Multinomial Diffusion: Learning Categorical Distributions. Advances in Neural Information Processing Systems.
  11. Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever. . Language Models are Unsupervised Multitask Learners. OpenAI Technical Report.
  12. Nils Reimers, Iryna Gurevych. . Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing.
  13. Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, Yoav Artzi. . BERTScore: Evaluating Text Generation with BERT. International Conference on Learning Representations.
  14. Krishna Pillutla, Swabha Swayamdipta, Rowan Zellers, John Thickstun, Sean Welleck, Yejin Choi, Zaid Harchaoui. . MAUVE: Measuring the Gap Between Neural Text and Human Text using Divergence Frontiers. Advances in Neural Information Processing Systems.
  15. Lianmin Zheng, Wei-Lin Chiang, Ying Sheng, Siyuan Zhuang, Zhanghao Wu, Yonghao Zhuang, Zi Lin, Zhuohan Li, Dacheng Li, Eric P. Xing, Hao Zhang, Joseph E. Gonzalez, Ion Stoica. . Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. Advances in Neural Information Processing Systems, Datasets and Benchmarks Track.

Ressourcen und Reproduzierbarkeit

Verlag
IEEE
Publikationsressourcen
Das öffentliche Manuskript, die Ergebnistabellen, die erläuternde Abbildung und die Zitationsdateien sind hier verfügbar. Implementierungscode und Checkpoints wurden nicht öffentlich freigegeben.

Erklärung zur Datengrundlage

Quelle
TinyStories, wie in der Arbeit beschrieben.
Lizenz
Die Nutzung von TinyStories unterliegt weiterhin den eigenen Bedingungen des Datensatzes; diese Website verbreitet keine Datensatzdateien weiter.
Vorverarbeitung
GPT-2-Tokenisierung, feste Eingaben mit 64 Token und hierarchische temporale Kompression von 64 über 32 auf 16 Positionen.
Aufteilung
Die Publikation berichtet 256 gepaarte Rekonstruktionsstichproben und 251–256 generierte Stichproben je Modus; ein wiederverwendbares Manifest der Trainings-/Validierungsaufteilung wird nicht veröffentlicht.
Format
Kurztextstichproben, GPT-2-Tokenfolgen, diskrete Codefolgen, Generierungsprotokolle und Übersichtstabellen.
Version / Prüfsumme
In dem Beitrag werden weder eine Prüfsumme des Datensatzes noch eine unveränderliche Snapshot-Kennung für TinyStories angegeben.
Beschaffung
Mit der Publikationsseite wird kein öffentliches Skript zur Datenbeschaffung bereitgestellt.
Nutzungsgrenzen
Die Evidenz bezieht sich auf kurze synthetische Geschichten und sollte nicht als Benchmark für unbeschränkte natürlichsprachliche Generierung verstanden werden.

Versionen

  1. Veröffentlichte FassungIEEE / FRUCT, 2026
  6. Index des TagungsbandesOffizieller Tagungsband FRUCT 39
  8. Wissenschaftlichen Datensatz öffnenOpenAlex
  9. Datensatz im ZitationsgraphenSemantic Scholar
  10. Von den Autoren bereitgestellter VolltextResearchGate

Die veröffentlichte DOI ist der primäre bibliografische Identifikator. Diese Seite bleibt versionsübergreifend die einzige kanonische Projekt-URL.

Lesen Sie den Diagnose des Codec-Engpasses Forschungsleitfaden.Über den Autor.

Fokussierte Forschungsnotizen

Absichtsspezifische Antworten mit klaren Evidenzgrenzen und Rückverweisen auf diese Arbeit.