# Hvordan avgjøre om feilen i en komprimert tekstgenerator ligger i kodeken eller generatoren

Canonical HTML: https://aogavrilov.com/no/research/codec-bottleneck-diagnosis/

Document language: no

En praktisk diagnostikk for totrinnssystemer som først komprimerer tekst til diskrete koder og deretter genererer i koderommet. Målet er å identifisere hvilket trinn som begrenser det dekodede resultatet, før beregningsressurser brukes på feil komponent.

Publisert 29. juli 2026 Oppdatert 30. juli 2026 [Alexey Gavrilov](https://aogavrilov.com/about/)

## Kort svar

Skår originalteksten, den tilhørende kodekrekonstruksjonen og den endelige genererte teksten med den samme eksterne evaluatoren. Avstanden mellom original og rekonstruksjon måler kvalitetstaket som etableres før genereringen. Avstanden mellom rekonstruksjon og generering isolerer deretter den ytterligere forringelsen som latentgeneratoren tilfører.

**Ikke erstatt dekodet utdata med et surrogatmål i latentrommet.** Bedre kodebokgeometri, -utnyttelse eller støtte kan være nyttige diagnostiske mål, men dokumenterer bare en kvalitetsforbedring når den dekodede teksten forbedres etter de relevante sluttmetrikkene.

## En diagnostikk med fire kontrollpunkter

1. Fastsett referansen Skår tilbakeholdte originaltekster med den eksterne evaluatoren som benyttes i alle senere trinn.
2. Mål kodekrekonstruksjonen Kod inn og dekod de samme eksemplene uten generering. Dette avdekker informasjon som går tapt i flaskehalsen.
3. Mål latentgenereringen Generer koder, dekod dem og skår den resulterende teksten med den uendrede evaluatoren.
4. Etterprøv overføring fra surrogatmål Sammenlign diagnostikk i latentrommet med de endelige målene for dekodet tekst, fremfor å anta at forbedringer i surrogatmål overføres.

## Hvordan forskjellene mellom trinnene skal tolkes

| Observert mønster | Mest sannsynlige flaskehals | Neste eksperiment |
| --- | --- | --- |
| Originalene oppnår gode resultater; rekonstruksjonene svekkes kraftig | Kodektroskap | Forbedre rekonstruksjonen eller reduser komprimeringen før generatoren finjusteres |
| Rekonstruksjonene holder seg sterke, mens de genererte resultatene forringes | Latentgenerator | Undersøk støyfjerning, utvalg, betinging og avvik i kodefordelingen |
| Latente proxy-mål forbedres, mens målene for dekodede utdata forblir uendret | Overføring av proxy | Vurder på nytt om proxyen fanger opp den aktuelle egenskapen i det etterfølgende leddet |
| Alle trinn oppnår svake resultater | Data, evalueringsopplegg eller eksperimentelt oppsett | Valider referansefordelingen og skåringsmodellen før svikt tilskrives modellen |

## Hva den publiserte kasusstudien av TinyStories fant

I [*Hvor kvaliteten svikter ved generering av komprimert korttekst: trinnvis lokalisering av flaskehalser*](https://aogavrilov.com/no/publications/where-quality-breaks/) , komprimeres tekster på 64 tokener til 16 koder på øverste nivå med en hierarkisk VQ-VAE-2. Målt med én ekstern GPT-2-evaluator øker median perplexity fra **15.17** for originaltekster til **27.36** for kodekrekonstruksjoner, mens p95 øker fra **25.10** til **98.91** .

### Maskert diffusjonsspråkmodellering i koderommet kontra tokenrommet

Rekonstruksjonsavviket dominerer den testede pipelinen. Innenfor dette taket gir maskert diffusjonsspråkmodellering (MDLM) i koderommet likevel bedre resultater enn MDLM i tokenrommet med den felles skåringsfunksjonen: median perplexity er **26.55** mot **38.42** , en reduksjon på 30.9%.

Geometribevisst regularisering forbedrer lokale latente surrogatmål i de tilgjengelige sammenlignbare kjøringene, men forbedrer ikke målene for dekodet tekst. Dette negative overføringsresultatet er en del av diagnostikken, ikke evidens for at regulariseringen forbedret den endelige teksten.

## Hva som bør måles på hvert trinn

## Forskningsspørsmål denne guiden besvarer

Disse kortfattede svarene knytter vanlige diagnostiske spørsmål til den målte evidensen fra hvert trinn.

1. Hvordan presterte maskert diffusjon i koderom sammenlignet med maskert diffusjon i tokenrom i det rapporterte teksteksperimentet? Med den samme eksterne skåringsmodellen hadde MDLM i koderommet en median perpleksitet på 26.55, mot 38.42 for referansemodellen i tokenrommet, en reduksjon på 30.9%. Medianen for kodekrekonstruksjonen var allerede 27.36, så resultatet må tolkes i sammenheng med rekonstruksjonsflaskehalsen. [Undersøk de rapporterte tallene for hvert trinn](https://aogavrilov.com/no/research/codec-bottleneck-diagnosis/#code-space-vs-token-space) .
2. Hvordan bør maskert diffusjon i koderom og tokenrom sammenlignes når kodeken medfører tap? Bruk de samme hold-out-eksemplene og den samme skåringsmodellen for dekodet tekst på originaler, kodekrekonstruksjoner samt resultater fra token- og koderommet. Rapporter rekonstruksjonsavviket separat, fordi en sterkere latent generator ikke kan gjenskape informasjon som kodeken allerede har fjernet. [Sammenlign trinnene med én evalueringsmodell](https://aogavrilov.com/no/research/codec-bottleneck-diagnosis/#code-space-vs-token-space) .
3. Hvordan kan kvalitetstap diagnostiseres i en tekstgenerator med to trinn? Mål først avviket fra original til rekonstruksjon og deretter avviket fra rekonstruksjon til generering med én uendret evaluator for dekodet tekst. Slik skilles kvalitetstaket som kodeken pålegger, fra ytterligere forringelse som latentgenereringen tilfører. [Følg diagnostikken med fire kontrollpunkter](https://aogavrilov.com/no/research/codec-bottleneck-diagnosis/#workflow) .
4. Når kan bedre mål i latentrommet unnlate å forbedre det dekodede resultatet? Et surrogatmål i latentrommet kan forbedres uten å følge den relevante egenskapen i sluttresultatet. Undersøk overføringen ved å dekode sammenlignbare resultater og evaluere dem med de samme sluttmålene; ellers er kodebokgeometri eller -utnyttelse fortsatt diagnostisk dokumentasjon, ikke en forbedring av tekstkvaliteten. [Bruk diagnosen for overføring av proksymål](https://aogavrilov.com/no/research/codec-bottleneck-diagnosis/#decision-table) .

## Vanlige diagnostiske feil

### Å sammenligne bare sluttresultater

En ende-til-ende-poengsum kan ikke avgjøre om tapet skyldes representasjonen eller generatoren.

### Å bytte evalueringsmodell mellom trinn

Ulike evaluatorer gjør avvikene mellom trinnene usammenlignbare og svekker kausal attribusjon.

### Å omtale kodebokens tilstand som «tekstkvalitet»

God utnyttelse kan forekomme samtidig med svake rekonstruksjoner eller svake dekodede genereringer.

### Generalisering fra ett komprimeringsregime

Den publiserte evidensen omfatter én TinyStories-konfigurasjon fra 64 til 16 og deskriptive enkeltkjøringer.

## Primær bakgrunn

Disse kildene definerer datasettet og modellfamiliene som den diagnostiske studien viser til.

1. [Nevral læring av diskrete representasjoner](https://arxiv.org/abs/1711.00937) Introduserer VQ-VAE og den lærte diskrete flaskehalsen som senere latentgeneratorer benytter.
2. [Generating Diverse High-Fidelity Images with VQ-VAE-2](https://arxiv.org/abs/1906.00446) Utvikler en hierarkisk diskret representasjon med separate kodenivåer.
3. [TinyStories: Hvor små kan språkmodeller være og fortsatt uttrykke seg sammenhengende på engelsk?](https://arxiv.org/abs/2305.07759) Introduserer korpuset av syntetiske kortfortellinger som brukes i den diagnostiske kasusstudien.
4. [Simple and Effective Masked Diffusion Language Models](https://arxiv.org/abs/2406.07524) Presenterer formuleringen av maskert diskret diffusjon som brukes i latentgeneratoren.

## Evidensgrense

Den trinnvise metoden kan gjenbrukes, men den rapporterte rangeringen er ikke universell. Det publiserte eksperimentet benytter TinyStories, ett aggressivt komprimeringsregime, én hierarkisk kodekfamilie, én maskert diskret generator og deskriptive enkeltkjøringer. Anvend diagnoseprotokollen på nye systemer; ikke overfør den tallfestede konklusjonen til en annen kontekst.

## Relaterte publikasjoner

### [Where Quality Breaks in Compressed Short-Text Generation: Staged Bottleneck Localization](https://aogavrilov.com/no/publications/where-quality-breaks/)

Hvor kvaliteten svikter i komprimert generering av korte tekster: trinnvis lokalisering av flaskehalser

Diagnostisk metodikk FRUCT 39 2026 Hovedkonferanse

### [Inspectable Control for Structure-Preserving Software Regeneration](https://aogavrilov.com/no/publications/inspectable-control/)

Etterprøvbar styring for strukturbevarende regenerering av programvare

Styringsmetode i latentrommet FSE Companion '26 2026 Tilhørende poster