AG — Alexey Gavrilov home

Where Quality Breaks in Compressed Short-Text Generation: Staged Bottleneck Localization

Dove si deteriora la qualità nella generazione compressa di testi brevi: localizzazione per stadi del collo di bottiglia

Una diagnosi per stadi della generazione compressa di testi brevi che distingue la perdita di ricostruzione del codec dalla perdita di generazione latente.

Alexey Gavrilov1Alan-Barsag Gazzaev1Sergey Muravyov1

  1. ITMO University, Saint Petersburg, Russia

Leggi l’articolo completo in HTMLTesto ricercabile con formule, tabelle, figure e riferimenti bibliografici.

Manoscritto finale accettato (versione pubblicata dall'autore con DOI). © 2026 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting or republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works. Condizioni di pubblicazione e riuso.

L'articolo in 30 secondi

Domanda di ricercaCome si può attribuire separatamente al codec e al generatore latente la perdita di qualità in una pipeline di generazione testuale compressa?

Problema

Nella generazione compressa di testi brevi, la scarsa qualità del testo decodificato può dipendere da informazioni perse dal codec oppure da una generazione debole nello spazio latente. Le metriche end-to-end confondono queste modalità di errore e possono indirizzare gli sforzi di ottimizzazione verso il componente sbagliato.

Approccio

Il protocollo per fasi valuta gli originali, le corrispondenti ricostruzioni del codec, gli output dell’MDLM nello spazio dei token e quelli della diffusione nello spazio dei codici mediante un unico valutatore GPT-2 esterno. Le misure relative al codebook e alla geometria restano indicatori diagnostici, non sostituti della qualità del testo decodificato.

Risultato principale

La ricostruzione del codec aumenta la perplessità esterna mediana da 15.17 a 27.36 e il p95 da 25.10 a 98.91. L'MDLM nello spazio dei codici riduce comunque la perplessità mediana del 30.9% rispetto all'MDLM nello spazio dei token.

Perché è importante

Il risultato traduce la diagnosi del collo di bottiglia del codec in un ordine operativo degli interventi: dare priorità al miglioramento del codec, quindi confrontare la generazione nello spazio dei token e in quello dei codici, e considerare attendibili i progressi degli indicatori surrogati dello spazio latente solo quando migliora anche il testo decodificato.

Abstract

I sistemi di generazione compressa di testi brevi possono fallire in due punti distinti: il codec può scartare informazioni prima che inizi la generazione, oppure il generatore latente può produrre codici di scarsa qualità. Se non si distinguono queste modalità di errore, si rischia di impiegare risorse di calcolo per migliorare il componente sbagliato. Studiamo il problema in un caso di studio controllato su TinyStories, con compressione da 64 a 16, basato su un codec VQ-VAE-2 gerarchico e un generatore a diffusione discreta mascherata (MDLM). Adottiamo un protocollo di validazione per fasi che distingue la fedeltà della ricostruzione del codec, la qualità della generazione latente e gli indicatori diagnostici ausiliari dello spazio latente, utilizzando un unico valutatore GPT-2 esterno e riportando metriche semantiche complementari per lo studio della geometria. Nella configurazione esaminata, la sola ricostruzione del codec aumenta la perplessità esterna mediana da 15.17 a 27.36 (+80.4%) e il p95 da 25.10 a 98.91 (+294.1%): la perdita di qualità dominante si manifesta dunque prima che inizi la generazione latente. Con lo stesso valutatore, l’MDLM nello spazio dei codici resta sensibilmente migliore della diffusione nello spazio dei token, con riduzioni rispettivamente del 32.9%, del 30.9% e del 36.6% per media, mediana e p95. La regolarizzazione sensibile alla geometria migliora le metriche surrogate locali dello spazio latente, ma nelle esecuzioni disponibili non migliora le metriche del testo decodificato. Il contributo è metodologico, non algoritmico: l’articolo presenta una diagnosi per fasi riutilizzabile per una pipeline concreta e mostra che, in questo contesto, la fedeltà del codec, non il denoising latente, determina il limite superiore pratico della qualità.

Pubblicato in 2026 39th Conference of Open Innovations Association (FRUCT)

Tipo di contributo Metodologia diagnostica

numero 1pp. 69–76Conferenza principale

DOI https://doi.org/10.23919/FRUCT70069.2026.11506553

Condividi questo articoloCondividi

Risultati principali

Risultati principali di Dove si deteriora la qualità nella generazione compressa di testi brevi: localizzazione per fasi del collo di bottiglia
Punto di valutazionenPPL mediaPPL medianaPPL al 95º percentile
Testi originali25616.2415.1725.1
Ricostruzioni del codec25637.2627.3698.91
Baseline AR25130.9823.2756.11
MDLM nello spazio dei token25644.7438.4293.6
MDLM nello spazio dei codici25630.0126.5559.36

Risultato principale. La maggior parte della perdita di qualità osservata si verifica prima della generazione; la diffusione nello spazio dei codici riduce comunque la perplessità mediana del 30.9% rispetto alla diffusione nello spazio dei token.

Dataset
TinyStories
Dimensione del campione
256 campioni di ricostruzione appaiati; 251–256 campioni generati per modalità; quattro configurazioni geometriche corrispondenti.
Metriche
Perplessità esterna di GPT-2: media, mediana, p95 e massimo; utilizzo del codebook e dimensione del supporto; SBERT, BERTScore, MAUVE e sintesi di un valutatore LLM per gli esperimenti sulla geometria
Incertezza
I confronti riportati si basano su singole esecuzioni descrittive; non sono stati calcolati intervalli di confidenza né stime di significatività su più seed.
Condizioni
Sequenze di token GPT-2 di lunghezza 64 compresse in 16 codici di livello superiore mediante un VQ-VAE-2 gerarchico; tutte le modalità di generazione utilizzano lo stesso valutatore esterno.

Scarica i risultati:CSVJSONMarkdownMirror esterno:Scheda del dataset su Hugging Face

PDF e citazione

Come citare l’articolo BibTeX è il formato raccomandato. Tutte le varianti riportate di seguito sono generate dallo stesso record di pubblicazione.

Apri il PDF
@inproceedings{Gavrilov2026WhereQuality,
  title      = {Where Quality Breaks in Compressed Short-Text Generation: Staged Bottleneck Localization},
  author     = {Gavrilov, Alexey and Gazzaev, Alan-Barsag and Muravyov, Sergey},
  booktitle  = {2026 39th Conference of Open Innovations Association (FRUCT)},
  publisher  = {IEEE},
  year       = {2026},
  pages      = {69--76},
  doi        = {10.23919/FRUCT70069.2026.11506553},
  url        = {https://doi.org/10.23919/FRUCT70069.2026.11506553},
  isbn       = {978-952-65246-5-8},
}
Scarica il file .bib

File di citazione:Testo APATesto IEEERISCSL-JSONSchema.org JSON-LDXML OAI-DCXML OpenAIRE v4XML MODSMetadati XML JATS 1.4Testo integrale in formato JATS 1.4 XMLRDF TurtleInsieme di collegamenti (JSON)Insieme di collegamenti (HTTP)RO-Crate

DOI:https://doi.org/10.23919/FRUCT70069.2026.11506553

Guida completa

Guida di ricerca completa

Metodo

L’articolo impiega un unico valutatore in tre fasi di valutazione, così che ogni trasformazione aggiuntiva possa essere associata a un divario di qualità misurabile.

  1. Ricostruire

    Codificare ciascun campione TinyStories di 64 token in 16 codici di livello superiore e decodificarlo immediatamente per misurare la perdita di ricostruzione del codec.

  2. Genera

    Generare con MDLM token testuali oppure codici latenti discreti, quindi decodificare i campioni nello spazio dei codici mediante il medesimo codec addestrato.

  3. Confronta

    Valutare originali, ricostruzioni e testi generati con il medesimo protocollo GPT-2 esterno, includendo la mediana e le statistiche delle code.

Pipeline per fasi di generazione di testo compresso che confronta il testo originale, la ricostruzione del codec, l’MDLM nello spazio dei codici e il testo decodificato, così da distinguere la perdita del codec dalla perdita di generazione.
La localizzazione per fasi del collo di bottiglia distingue la perdita di ricostruzione del codec dalla perdita di generazione nello spazio latente mediante un unico protocollo condiviso di valutazione del testo decodificato.Fonte: Diagramma esplicativo creato dall'autore sulla base del metodo e dei risultati pubblicati..Condizioni di riutilizzo: CC BY 4.0.Attribuzione suggerita: Gavrilov, Gazzaev e Muravyov (2026), Where Quality Breaks in Compressed Short-Text Generation. Scarica l'SVG.

Idea principale

Un generatore a valle non può recuperare informazioni che il codec ha già scartato. Occorre pertanto verificare la fase di ricostruzione prima di interpretare i risultati della generazione latente.

Differenze rispetto ad approcci affini

I confronti end-to-end convenzionali riportano un unico punteggio finale di generazione. Questo protocollo introduce un punto di controllo appaiato della ricostruzione e distingue le metriche diagnostiche nello spazio latente dalle evidenze sul testo decodificato.

Qual è il contributo innovativo

Il contributo consiste in una metodologia diagnostica per fasi, riutilizzabile per una specifica pipeline di testo compresso, anziché in un nuovo algoritmo di denoising.

Domande a cui questo articolo contribuisce a rispondere

Apri una domanda per ottenere una risposta concisa fondata sull'articolo. I limiti dettagliati delle evidenze sono riportati nella sezione Limitazioni.

  1. In quale fase si deteriora la qualità nella generazione compressa di testi brevi?

    Nella pipeline TinyStories con compressione da 64 a 16 sottoposta a test, il degrado dominante emerge durante la ricostruzione del codec, prima che inizi la generazione latente. La perplessità esterna mediana misurata con GPT-2 passa da 15.17 per il testo originale a 27.36 dopo la ricostruzione, mentre il p95 aumenta da 25.10 a 98.91. Il risultato riguarda una singola configurazione e non costituisce una classificazione universale dei codec.

  2. Come si può separare la perdita del codec dalla perdita di generazione nello spazio latente?

    Il protocollo per fasi valuta gli originali, le corrispondenti ricostruzioni del codec e il testo finale generato mediante un unico valutatore esterno condiviso. Lo scarto tra originale e ricostruzione stima il contributo del codec, mentre il confronto tra ricostruzione e output generato aiuta a localizzare l'ulteriore perdita introdotta nella fase di generazione. Le metriche sullo stato dello spazio latente sono riportate separatamente dalle evidenze relative al testo decodificato.

  3. Come si dovrebbe valutare la generazione testuale con rappresentazioni latenti discrete?

    L’articolo raccomanda di verificare la fedeltà della ricostruzione prima di confrontare i generatori, di applicare in ogni fase lo stesso valutatore del testo decodificato e di riportare statistiche centrali e delle code. Considera inoltre l’utilizzo del codebook, la geometria e altri indicatori surrogati dello spazio latente come strumenti diagnostici, non come sostituti della qualità del testo decodificato.

  4. La diffusione nello spazio dei codici supera quella nello spazio dei token?

    Con il valutatore condiviso e la configurazione esaminata, l'MDLM nello spazio dei codici riduce la perplexity media, mediana e al p95 rispettivamente del 32.9%, 30.9% e 36.6% rispetto all'MDLM nello spazio dei token. Il confronto è descrittivo e specifico della configurazione: non stabilisce una graduatoria universale tra dataset, rapporti di compressione, codec o architetture di diffusione.

  5. Metriche migliori della geometria latente garantiscono una qualità superiore del testo generato?

    No. Nelle esecuzioni appaiate disponibili, la regolarizzazione sensibile alla geometria ha migliorato gli indicatori surrogati locali nello spazio latente, ma non le metriche sul testo decodificato. Il risultato indica la necessità di verificare ogni miglioramento degli indicatori surrogati sull'output finale decodificato e di considerare il mancato trasferimento come un risultato negativo informativo, non come prova di un miglioramento della generazione.

Confronto con approcci affini

Confronto fattuale tra Dove si deteriora la qualità nella generazione compressa di testi brevi: localizzazione per fasi del collo di bottiglia e approcci affini
ApproccioRappresentazioneControllo / diagnosiChe cosa viene preservato o misurato
Diffusione nello spazio dei tokenToken testualiQualità della generazione nello spazio dei tokenFluidità della generazione diretta e comportamento del valutatore
Generazione latente compressaCodici latenti discreti ottenuti mediante un codecQualità finale della generazione end-to-endComportamento congiunto del codec e del generatore latente
Localizzazione per fasi del collo di bottigliaTesto, ricostruzioni del codec e rappresentazioni latenti discreteDistinguere la perdita del codec dalla perdita di generazioneDove si deteriora la qualità con un unico valutatore condiviso

Il confronto distingue l’ambito della valutazione e le evidenze; non costituisce una graduatoria universale degli approcci.

Rilevanza e ambito

Il protocollo per fasi è utile quando una pipeline generativa comprende sia un codec appreso sia un generatore nello spazio latente, ma non è chiara l'origine del deterioramento della qualità dell'output.

  1. Generazione di testo compressa e con variabili latenti discrete

  2. Fedeltà della ricostruzione del codec nelle pipeline generative

  3. Modellazione linguistica mediante diffusione mascherata nello spazio dei codici

  4. Localizzazione del collo di bottiglia e valutazione coerente tra gli stadi

  5. Verifica dei miglioramenti delle misure surrogate nello spazio latente rispetto al testo decodificato

Consulta i limiti e l’ambito di validità delle evidenze

Limitazioni

  • Lo studio empirico utilizza esclusivamente TinyStories.
  • L’analisi principale riguarda un unico regime di compressione spinta da 64 a 16.
  • Il sistema valutato combina una famiglia di codec VQ-VAE-2 gerarchici con un generatore MDLM.
  • I confronti si basano su singole esecuzioni e hanno carattere descrittivo, anziché costituire stime statistiche su più seed.
  • La perplessità esterna di GPT-2 è uno strumento diagnostico comune, non una metrica universale della qualità semantica.
  • Le conclusioni non devono essere estese direttamente a tutti i dataset, alle architetture dei codec o ai rapporti di compressione.

Riferimenti citati nell’articolo

Queste voci corrispondono alla sezione numerata dei riferimenti bibliografici nel PDF dell'articolo.

  1. Subham Sekhar Sahoo, Marianne Arriola, Yair Schiff, Aaron Gokaslan, Edgar Marroquin, Justin T Chiu, Alexander Rush, Volodymyr Kuleshov. . Simple and Effective Masked Diffusion Language Models. Advances in Neural Information Processing Systems.
  2. Aaron van den Oord, Oriol Vinyals, Koray Kavukcuoglu. . Neural Discrete Representation Learning. Advances in Neural Information Processing Systems.
  3. Ali Razavi, Aaron van den Oord, Oriol Vinyals. . Generating Diverse High-Fidelity Images with VQ-VAE-2. Advances in Neural Information Processing Systems.
  4. Jacob Austin, Daniel D. Johnson, Jonathan Ho, Daniel Tarlow, Rianne van den Berg. . Structured Denoising Diffusion Models in Discrete State-Spaces. Advances in Neural Information Processing Systems.
  5. Aaron Lou, Chenlin Meng, Stefano Ermon. . Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution. Proceedings of the 41st International Conference on Machine Learning.
  6. Xiaochuang Han, Sachin Kumar, Yulia Tsvetkov. . SSD-LM: Semi-autoregressive Simplex-based Diffusion Language Model for Text Generation and Modular Control. Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics.
  7. Xiang Lisa Li, John Thickstun, Ishaan Gulrajani, Percy Liang, Tatsunori B. Hashimoto. . Diffusion-LM Improves Controllable Text Generation. Advances in Neural Information Processing Systems.
  8. Huiwen Chang, Han Zhang, Lu Jiang, Ce Liu, William T. Freeman. . MaskGIT: Masked Generative Image Transformer. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.
  9. Marjan Ghazvininejad, Omer Levy, Yinhan Liu, Luke Zettlemoyer. . Mask-Predict: Parallel Decoding of Conditional Masked Language Models. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing.
  10. Emiel Hoogeboom, Didrik Nielsen, Priyank Jaini, Patrick Forré, Max Welling. . Argmax Flows and Multinomial Diffusion: Learning Categorical Distributions. Advances in Neural Information Processing Systems.
  11. Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever. . Language Models are Unsupervised Multitask Learners. OpenAI Technical Report.
  12. Nils Reimers, Iryna Gurevych. . Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing.
  13. Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, Yoav Artzi. . BERTScore: Evaluating Text Generation with BERT. International Conference on Learning Representations.
  14. Krishna Pillutla, Swabha Swayamdipta, Rowan Zellers, John Thickstun, Sean Welleck, Yejin Choi, Zaid Harchaoui. . MAUVE: Measuring the Gap Between Neural Text and Human Text using Divergence Frontiers. Advances in Neural Information Processing Systems.
  15. Lianmin Zheng, Wei-Lin Chiang, Ying Sheng, Siyuan Zhuang, Zhanghao Wu, Yonghao Zhuang, Zi Lin, Zhuohan Li, Dacheng Li, Eric P. Xing, Hao Zhang, Joseph E. Gonzalez, Ion Stoica. . Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. Advances in Neural Information Processing Systems, Datasets and Benchmarks Track.

Risorse e riproducibilità

Editore
IEEE
Risorse della pubblicazione
Il manoscritto pubblico, le tabelle dei risultati, la figura esplicativa e i file delle citazioni sono disponibili qui. Il codice d’implementazione e i checkpoint non sono stati resi pubblici.

Dichiarazione sui dati

Fonte
TinyStories, come descritto nell'articolo.
Licenza
L'uso di TinyStories resta soggetto ai termini propri del dataset; questo sito non ridistribuisce alcun file del dataset.
Pre-elaborazione
Tokenizzazione GPT-2, input fissi di 64 token e compressione temporale gerarchica da 64 a 32 e infine a 16 posizioni.
Suddivisione
La pubblicazione riporta 256 campioni appaiati di ricostruzione e 251–256 campioni generati per modalità; non rende pubblico un manifesto riutilizzabile della suddivisione tra training e validation.
Formato
Campioni di testi brevi, sequenze di token GPT-2, sequenze di codici discreti, registri di generazione e tabelle riepilogative.
Versione / checksum
Nell'articolo non è riportato alcun checksum del dataset né un identificatore immutabile dello snapshot di TinyStories.
Acquisizione
La pagina della pubblicazione non rende disponibile uno script pubblico di acquisizione.
Limiti d'uso
Le evidenze riguardano brevi storie sintetiche e non devono essere considerate un benchmark per la generazione non vincolata del linguaggio naturale.

Versioni

  1. Versione pubblicataIEEE / FRUCT, 2026
  5. Presentazione alla conferenzaPresentazione a FRUCT 39
  6. Indice degli atti della conferenzaVolume ufficiale FRUCT 39
  7. PDF degli atti della conferenzaTesto integrale ad accesso aperto di FRUCT
  8. Apri il record scientificoOpenAlex
  9. Record del grafo delle citazioniSemantic Scholar
  10. Testo integrale condiviso dall'autoreResearchGate

Il DOI pubblicato è l’identificatore bibliografico primario. Questa pagina resta l’unico URL canonico del progetto in tutte le versioni.

Leggi Diagnosi del collo di bottiglia del codec guida alla ricerca.Informazioni sull'autore.

Note di ricerca mirate

Risposte specifiche per ciascun intento, con limiti espliciti delle evidenze e rimandi al presente articolo.