# Come stabilire se il malfunzionamento di un generatore testuale compresso dipende dal codec o dal generatore

Canonical HTML: https://aogavrilov.com/it/projects/codec-bottleneck-diagnosis/

Document language: it

Una diagnosi operativa per sistemi a due stadi che prima comprimono il testo in codici discreti e poi generano nello spazio dei codici. L'obiettivo è individuare lo stadio che limita l'output decodificato prima di spendere risorse computazionali sul componente sbagliato.

Pubblicato 29 luglio 2026 Aggiornato 30 luglio 2026 [Alexey Gavrilov](https://aogavrilov.com/about/)

## La risposta in breve

Valutare il testo originale, la corrispondente ricostruzione del codec e il testo finale generato con il medesimo valutatore esterno. Lo scarto tra originale e ricostruzione misura il limite superiore di qualità imposto prima della generazione. Lo scarto tra ricostruzione e generazione isola quindi l’ulteriore degradazione introdotta dal generatore latente.

**Non sostituire l'output decodificato con una misura surrogata dello spazio latente.** Una geometria, un utilizzo o un supporto migliori del codebook possono costituire indicatori diagnostici utili, ma dimostrano un miglioramento qualitativo soltanto se il testo decodificato migliora secondo le metriche finali pertinenti.

## Una diagnosi in quattro punti di controllo

1. Definire il riferimento Valutare i testi originali tenuti da parte con il valutatore esterno impiegato in tutte le fasi successive.
2. Misurare la ricostruzione del codec Codificare e decodificare gli stessi esempi senza ricorrere alla generazione. In tal modo emergono le informazioni perse nel collo di bottiglia.
3. Misurare la generazione latente Generare i codici, decodificarli e valutare il testo risultante mantenendo invariato il valutatore.
4. Verificare il trasferimento delle misure surrogate Confrontare gli indicatori diagnostici dello spazio latente con le metriche finali del testo decodificato, senza presumere che i miglioramenti delle metriche surrogate si traducano in un miglioramento del risultato finale.

## Come interpretare gli scarti tra gli stadi

| Andamento osservato | Collo di bottiglia più probabile | Esperimento successivo |
| --- | --- | --- |
| Gli originali ottengono buoni punteggi; le ricostruzioni mostrano un netto deterioramento | Fedeltà del codec | Migliorare la ricostruzione o ridurre la compressione prima di ottimizzare il generatore |
| Le ricostruzioni restano solide, mentre gli output generati peggiorano | Generatore latente | Esaminare il denoising, il campionamento, il condizionamento e il disallineamento nella distribuzione dei codici |
| Gli indicatori surrogati latenti migliorano, mentre le metriche sul testo decodificato restano invariate | Trasferibilità della metrica surrogata | Rivalutare se la metrica surrogata rifletta la proprietà di interesse a valle |
| Ogni fase ottiene risultati modesti | Dati, valutatore o configurazione sperimentale | Validare la distribuzione di riferimento e il valutatore prima di attribuire il fallimento al modello |

## Che cosa ha rilevato il caso di studio pubblicato su TinyStories

In [*Dove si deteriora la qualità nella generazione compressa di testi brevi: localizzazione per fasi del collo di bottiglia*](https://aogavrilov.com/it/publications/where-quality-breaks/) , i testi di 64 token vengono compressi in 16 codici di livello superiore mediante un VQ-VAE-2 gerarchico. Secondo un valutatore GPT-2 esterno, la perplessità mediana aumenta da **15.17** per i testi originali a **27.36** per le ricostruzioni del codec, mentre il p95 aumenta da **25.10** a **98.91** .

### Modellazione linguistica a diffusione mascherata: spazio dei codici e spazio dei token

Il divario di ricostruzione domina la pipeline esaminata. Entro tale limite superiore, la modellazione linguistica a diffusione mascherata (MDLM) nello spazio dei codici ottiene comunque risultati migliori dell’MDLM nello spazio dei token secondo il valutatore condiviso: la perplessità mediana è **26.55** rispetto a **38.42** , con una riduzione del 30.9%.

Negli esperimenti appaiati disponibili, la regolarizzazione sensibile alla geometria migliora le misure surrogate latenti locali, ma non le metriche del testo decodificato. Questo esito negativo del trasferimento è parte della diagnosi e non dimostra che il regolarizzatore abbia migliorato il testo finale.

## Che cosa misurare in ciascuna fase

## Domande di ricerca a cui risponde questa guida

Queste risposte concise collegano i comuni quesiti diagnostici alle evidenze misurate nelle singole fasi.

1. Qual è stato il confronto tra la diffusione mascherata nello spazio dei codici e quella nello spazio dei token nell’esperimento testuale descritto? Con il medesimo valutatore esterno, l'MDLM nello spazio dei codici ha ottenuto una perplexity mediana di 26.55, rispetto a 38.42 per la baseline nello spazio dei token, con una riduzione del 30.9%. La mediana della ricostruzione del codec era già pari a 27.36; il risultato va quindi interpretato congiuntamente al collo di bottiglia della ricostruzione. [Esaminare i valori riportati per ciascuno stadio](https://aogavrilov.com/it/projects/codec-bottleneck-diagnosis/#code-space-vs-token-space) .
2. Come si dovrebbero confrontare la diffusione mascherata nello spazio dei codici e quella nello spazio dei token quando il codec è con perdita? Utilizzare gli stessi campioni di test e lo stesso valutatore del testo decodificato per gli originali, le ricostruzioni del codec, gli output nello spazio dei token e quelli nello spazio dei codici. Riportare separatamente lo scarto di ricostruzione, poiché un generatore latente più efficace non può recuperare informazioni già eliminate dal codec. [Confrontare le fasi con un unico valutatore](https://aogavrilov.com/it/projects/codec-bottleneck-diagnosis/#code-space-vs-token-space) .
3. Come si può diagnosticare la perdita di qualità in un generatore di testo a due stadi? Con un unico valutatore invariato del testo decodificato, misurare prima lo scarto tra originale e ricostruzione e poi quello tra ricostruzione e generazione. In tal modo si distingue il limite massimo di qualità imposto dal codec dall'ulteriore deterioramento introdotto dalla generazione latente. [Segui la diagnosi articolata in quattro punti di controllo](https://aogavrilov.com/it/projects/codec-bottleneck-diagnosis/#workflow) .
4. Quando metriche migliori nello spazio latente possono non tradursi in un miglioramento dell'output decodificato? Una misura surrogata latente può migliorare senza riflettere la proprietà a valle di interesse. Il trasferimento va verificato decodificando output corrispondenti e valutandoli con le stesse metriche finali; diversamente, la geometria o l'utilizzo del codebook rimangono evidenze diagnostiche, non un miglioramento della qualità testuale. [Verificare la trasferibilità della metrica surrogata](https://aogavrilov.com/it/projects/codec-bottleneck-diagnosis/#decision-table) .

## Errori diagnostici comuni

### Confrontare soltanto gli output finali

Un punteggio end-to-end non consente di stabilire se la perdita sia dovuta alla rappresentazione o al generatore.

### Cambiare valutatore tra una fase e l'altra

L'impiego di valutatori diversi rende incomparabili gli scarti tra le fasi e indebolisce l'attribuzione causale.

### Equiparare lo stato del codebook alla «qualità del testo»

Un utilizzo adeguato può coesistere con ricostruzioni scadenti o con generazioni decodificate di bassa qualità.

### Generalizzazione di un singolo regime di compressione

Le evidenze pubblicate riguardano un’unica configurazione TinyStories con compressione da 64 a 16 ed esecuzioni singole descrittive.

## Contesto teorico principale

Queste fonti definiscono il dataset e le famiglie di modelli richiamati dallo studio diagnostico.

1. [Apprendimento neurale di rappresentazioni discrete](https://arxiv.org/abs/1711.00937) Introduce VQ-VAE e il collo di bottiglia discreto appreso, utilizzato dai successivi generatori latenti.
2. [Generating Diverse High-Fidelity Images with VQ-VAE-2](https://arxiv.org/abs/1906.00446) Sviluppa una rappresentazione discreta gerarchica con livelli di codice distinti.
3. [TinyStories: How Small Can Language Models Be and Still Speak Coherent English?](https://arxiv.org/abs/2305.07759) Presenta il corpus sintetico di racconti brevi impiegato nello studio di caso diagnostico.
4. [Simple and Effective Masked Diffusion Language Models](https://arxiv.org/abs/2406.07524) Fornisce la formulazione della diffusione discreta mascherata impiegata per il generatore latente.

## Limiti delle evidenze

Il metodo per fasi è riutilizzabile, ma la graduatoria riportata non è universale. L'esperimento pubblicato impiega TinyStories, un unico regime di compressione aggressiva, una sola famiglia di codec gerarchici, un solo generatore discreto mascherato ed esecuzioni singole a carattere descrittivo. Il protocollo diagnostico va applicato al nuovo sistema; la conclusione numerica non va trasferita a un contesto diverso.

## Pubblicazioni correlate

### [Where Quality Breaks in Compressed Short-Text Generation: Staged Bottleneck Localization](https://aogavrilov.com/it/publications/where-quality-breaks/)

Dove si deteriora la qualità nella generazione compressa di testi brevi: localizzazione per stadi del collo di bottiglia

Metodologia diagnostica FRUCT 39 2026 Conferenza principale

### [Inspectable Control for Structure-Preserving Software Regeneration](https://aogavrilov.com/it/publications/inspectable-control/)

Controllo ispezionabile per la rigenerazione del software con preservazione della struttura

Metodo di controllo nello spazio latente FSE Companion '26 2026 Poster di accompagnamento