# Gemaskeerde diffusie in coderuimte versus tokenruimte: hoe vergelijkt men beide?

Canonical HTML: https://aogavrilov.com/nl/research-notes/code-space-vs-token-space-masked-diffusion/

Document language: nl

ONDERZOEKSNOTITIE

Een faseconsistent vergelijkingsprotocol voor taalmodellen met gemaskeerde diffusie in code- en tokenruimte wanneer de discrete codec informatieverlies veroorzaakt.

Gepubliceerd 30 juli 2026 [Alexey Gavrilov](https://aogavrilov.com/about/)

KORT ANTWOORD

## Hoe moeten taalmodellering met gemaskeerde diffusie in de coderuimte en in de tokenruimte worden vergeleken?

Evalueer brontekst, codec-reconstructies, uitvoer uit de tokenruimte en gedecodeerde uitvoer uit de coderuimte met dezelfde externe beoordelaar en voorbewerking. Rapporteer het codec-reconstructieverschil afzonderlijk: generatie in de coderuimte kan geen informatie herstellen die de codec al heeft verwijderd.

## Waarom het onderscheid van belang is

De methode en de geclaimde garantie moeten dezelfde waarneembare afbakening hanteren.

Een model in tokenruimte genereert teksttokens rechtstreeks. Een model in coderuimte genereert eerst discrete latente codes en is vervolgens voor tekstherstel afhankelijk van een decoder. De uiteindelijke uitvoer kan worden vergeleken, maar de coderuimtepijplijn kent een extra faalpunt: reconstructieverlies kan het kwaliteitsplafond verlagen voordat de latente generatie begint.

Een eerlijke vergelijking vereist daarom twee vragen. Vraag eerst hoeveel kwaliteit de codec zonder enige generatie behoudt. Vraag vervolgens hoeveel extra verlies elke generator veroorzaakt bij één ongewijzigd evaluatieprotocol voor gedecodeerde tekst.

## Een praktische werkwijze

1. Leg de baseline van de brontekst vast Beoordeel achtergehouden bronteksten met de evaluator en voorbewerking die in elke latere fase worden gebruikt.
2. Meet reconstructie vóór generatie Codeer en decodeer dezelfde voorbeelden zonder nieuwe codes te bemonsteren. Zo wordt het door de codec opgelegde kwaliteitsplafond geïsoleerd.
3. Evalueer beide generatieruimten na decodering Beoordeel steekproeven uit de tokenruimte rechtstreeks en decodeer steekproeven uit de coderuimte voordat u ze beoordeelt. Vergelijk geen latente proxy met een metriek voor gedecodeerde tekst.
4. Verdelingen en onzekerheid rapporteren Toon de mediaan, het staartgedrag, de aantallen steekproeven, de voorbewerking en de onzekerheid over herhaalde runs. Eén gemiddelde kan ernstige reconstructiefouten verhullen.

## Te vereisen bewijs

Een bewering is slechts zo sterk als de eigenschap die na generatie of decodering is gemeten.

- Bij elk controlepunt worden dezelfde externe beoordelaar voor gedecodeerde tekst en dezelfde voorbewerking gebruikt.
- Resultaten voor de bron, reconstructie, tokenruimte en gedecodeerde coderuimte worden afzonderlijk gerapporteerd.
- Het tekort in de codecreconstructie wordt niet aan de latente generator toegeschreven.
- Vermeld bij elke vergelijking van gemiddelden ook de mediaan en het staartgedrag.
- Random seeds of onzekerheidsschattingen worden gerapporteerd voordat kleine verschillen worden veralgemeniseerd.

### Wat de gekoppelde studie rapporteert

- In de gerapporteerde TinyStories-configuratie met compressie van 64 naar 16 verhoogde alleen de codecreconstructie de mediane externe perplexiteit van 15.17 naar 27.36.
- Volgens dezelfde beoordelaar bereikte MDLM in de coderuimte een mediane perplexiteit van 26.55, terwijl de baseline in de tokenruimte 38.42 bereikte: in dat experiment een afname van 30.9% voor generatie in de coderuimte.
- Geometriebewuste regularisatie verbeterde in de beschikbare overeenkomstige runs de lokale diagnostische maten in de latente ruimte, maar niet de metrieken voor gedecodeerde tekst.

[Het publicatieoverzicht lezen](https://aogavrilov.com/nl/publications/where-quality-breaks/) [Doorzoek de volledige tekst van het artikel](https://aogavrilov.com/publications/where-quality-breaks/full-text/)

## Afbakening van de reikwijdte

- Deze cijfers beschrijven één compressieregime voor TinyStories, één hiërarchische codec en de gerapporteerde evaluatieopzet; zij tonen geen universele rangorde van modellen in de coderuimte en tokenruimte aan.
- Perplexiteit is informatief, maar vormt geen volledige maatstaf voor semantische kwaliteit, diversiteit, feitelijkheid of bruikbaarheid.
- De beschikbare vergelijkingen moeten worden geïnterpreteerd met inachtneming van de vermelde steekproefgroottes en beperkingen ten aanzien van onzekerheid.

## Primaire en verwante bronnen

Raadpleeg de gekoppelde artikelen voor de oorspronkelijke methoden, metingen en vermelde beperkingen.

1. [Where Quality Breaks in Compressed Short-Text Generation](https://aogavrilov.com/nl/publications/where-quality-breaks/) Hoofdartikel en gerapporteerde metingen per fase.
2. [Simple and Effective Masked Diffusion Language Models](https://arxiv.org/abs/2406.07524) Formulering van gemaskeerde discrete diffusie die door de latente generator wordt gebruikt.
3. [Neural Discrete Representation Learning](https://arxiv.org/abs/1711.00937) Fundamentele methode voor aangeleerde discrete representaties.

Onderhouden door Alexey Gavrilov . Deze pagina vat bestaand bewijsmateriaal samen en voegt geen experimentele resultaten toe buiten de aangehaalde bronnen.