# Kódtérbeli és tokentérbeli maszkolt diffúzió: hogyan hasonlítsuk össze őket?

Canonical HTML: https://aogavrilov.com/hu/research-notes/code-space-vs-token-space-masked-diffusion/

Document language: hu

KUTATÁSI JEGYZET

Az értékelési szakaszokon át egységes összehasonlítási protokoll kódtérbeli és tokentérbeli maszkolt diffúziós nyelvmodellekhez, veszteséges diszkrét kodek esetén.

Megjelent 2026. július 30. [Alexey Gavrilov](https://aogavrilov.com/about/)

KÖZVETLEN VÁLASZ

## Hogyan érdemes összevetni a kódtérbeli és a tokentérbeli maszkolt diffúziós nyelvmodellezést?

A forrásszöveget, a kodekrekonstrukciókat, a tokentérbeli kimeneteket és a dekódolt kódtérbeli kimeneteket ugyanazzal a külső értékelővel és előfeldolgozással értékeljük. A kodek rekonstrukciós eltérését külön közöljük: a kódtérbeli generálás nem képes visszaállítani a kodek által már eltávolított információt.

## Miért fontos a megkülönböztetés?

A módszernek és az állított garanciának ugyanarra a megfigyelhető határra kell vonatkoznia.

A tokentérbeli modell közvetlenül generál szövegtokeneket. A kódtérbeli modell először diszkrét látens kódokat állít elő, majd egy dekóderre bízza a szöveg visszaállítását. Végső kimeneteik összehasonlíthatók, a kódtérbeli folyamatnak azonban van egy további hibapontja: a rekonstrukciós veszteség már a látens generálás megkezdése előtt csökkentheti az elérhető minőség felső korlátját.

A méltányos összehasonlításhoz ezért nem egy, hanem két kérdés szükséges. Először azt kell vizsgálni, mennyi minőséget őriz meg a kodek generálás nélkül. Ezután azt, hogy az egyes generátorok mekkora további veszteséget okoznak ugyanazon, változatlan dekódoltszöveg-értékelési protokoll mellett.

## Gyakorlati eljárás

1. A forrás-alapvonal meghatározása Értékelje a visszatartott forrásszövegeket azzal az értékelővel és előfeldolgozással, amelyet minden későbbi szakaszban használni fog.
2. A rekonstrukció mérése előzze meg a generálásét Kódoljuk és dekódoljuk ugyanazokat a példákat új kódok mintavétele nélkül. Így elkülöníthető a kodek által meghatározott teljesítményplafon.
3. Mindkét generálási tér értékelése dekódolás után A tokentérből vett mintákat közvetlenül értékelje, a kódtérből vett mintákat pedig az értékelés előtt dekódolja. Látens helyettesítő mutatót ne hasonlítson dekódolt szövegen számított mérőszámhoz.
4. Az eloszlások és a bizonytalanság bemutatása Mutassa be a mediánt és az eloszlás széleinek viselkedését, a mintaszámokat, az előfeldolgozást és az ismételt futások bizonytalanságát. Egyetlen átlag súlyos rekonstrukciós hibákat fedhet el.

## Megkövetelendő bizonyítékok

Egy állítás megalapozottságát az határozza meg, hogy a generálás vagy dekódolás után ténylegesen mely tulajdonságot mérték.

- Minden ellenőrzőponton ugyanazt a külső, dekódolt szövegre alkalmazott értékelőt és előfeldolgozást használjuk.
- A forrás, a rekonstrukció, a tokentér és a dekódolt kódtér eredményeit külön közöljük.
- A kodekrekonstrukció eltérését nem tulajdonítjuk a látens generátornak.
- Az átlagok minden összevetését egészítse ki a medián és az eloszlás széleinek viselkedése.
- A kis különbségek általánosítása előtt közölni kell a véletlenmagokat vagy a bizonytalansági becsléseket.

### Miről számol be a hivatkozott tanulmány?

- A közölt, 64-ről 16-ra tömörítő TinyStories-beállításban önmagában a kodekrekonstrukció 15.17-ről 27.36-ra növelte a külső medián perplexitást.
- Ugyanazon értékelő mellett a kódtérbeli MDLM 26.55-ös, a tokentérbeli alapmodell pedig 38.42-es medián perplexitást ért el; ebben a kísérletben ez 30.9%-os csökkenést jelentett a kódtérbeli generálás javára.
- A geometriatudatos regularizáció javította a helyi látens diagnosztikai mutatókat a rendelkezésre álló párosított futtatásokban, a dekódolt szöveg mérőszámait azonban nem javította.

[A publikáció áttekintésének elolvasása](https://aogavrilov.com/hu/publications/where-quality-breaks/) [Keresés a tanulmány teljes szövegében](https://aogavrilov.com/publications/where-quality-breaks/full-text/)

## A hatókör határa

- E számok egyetlen TinyStories-tömörítési beállítást, egy hierarchikus kodeket és a közölt értékelési környezetet jellemzik; nem alapozzák meg a kódtérbeli és tokentérbeli modellek általános rangsorát.
- A perplexitás informatív, de nem teljes körű mércéje a szemantikai minőségnek, a változatosságnak, a tényszerűségnek vagy a hasznosságnak.
- A rendelkezésre álló összehasonlításokat a közölt mintanagyságok és bizonytalansági korlátok figyelembevételével kell értelmezni.

## Elsődleges és kapcsolódó források

Az eredeti módszerekért, mérésekért és közölt korlátokért tekintse meg a hivatkozott tanulmányokat.

1. [Where Quality Breaks in Compressed Short-Text Generation](https://aogavrilov.com/hu/publications/where-quality-breaks/) Az alapul szolgáló tanulmány és a közölt szakaszonkénti mérések.
2. [Simple and Effective Masked Diffusion Language Models](https://arxiv.org/abs/2406.07524) A látens generátorban alkalmazott maszkolt diszkrét diffúziós formalizmus.
3. [Neural Discrete Representation Learning](https://arxiv.org/abs/1711.00937) A tanult diszkrét reprezentációk alapvető módszere.

Karbantartó: Alexey Gavrilov . Ez az oldal a meglévő bizonyítékokat foglalja össze; az idézett forrásokon túl nem közöl új kísérleti eredményt.