AG — Alexey Gavrilov home

Where Quality Breaks in Compressed Short-Text Generation: Staged Bottleneck Localization

Hol romlik a minőség a tömörített rövidszöveg-generálásban? A szűk keresztmetszet szakaszos lokalizálása

A tömörített rövidszöveg-generálás szakaszos diagnosztikája, amely elkülöníti a kodek rekonstrukciós veszteségét a látens generálás veszteségétől.

Alexey Gavrilov1Alan-Barsag Gazzaev1Sergey Muravyov1

  1. ITMO University, Saint Petersburg, Russia

A teljes tanulmány elolvasása HTML-formátumbanKereshető szöveg képletekkel, táblázatokkal, ábrákkal és hivatkozásokkal.

Elfogadott végleges kézirat (a szerző által közzétett, DOI-val ellátott változat). © 2026 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting or republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works. A közzététel és újrafelhasználás feltételei.

A tanulmány 30 másodpercben

Kutatási kérdésHogyan tulajdonítható a tömörített szöveggenerálási folyamat minőségromlása külön-külön a kodeknek és a látens generátornak?

Probléma

A tömörített rövidszöveg-generálásban a dekódolt szöveg gyenge minőségét okozhatja a kodek információvesztése vagy a látens térbeli generálás elégtelensége. A végponttól végpontig számított pontszámok összemossák e hibamódokat, ezért az optimalizálás könnyen a folyamat rossz elemére irányulhat.

Megközelítés

A szakaszos protokoll ugyanazzal a külső GPT-2-értékelővel pontozza az eredeti mintákat, a hozzájuk párosított kodekrekonstrukciókat, valamint a tokentérbeli MDLM és a kódtérbeli diffúzió kimeneteit. A kódkönyvre és a geometriára vonatkozó mérőszámok diagnosztikai eszközök maradnak: nem helyettesítik a dekódolt szöveg minőségének mérését.

Fő eredmény

A kodekrekonstrukció a külső perplexitás mediánját 15.17-ről 27.36-ra, p95-értékét pedig 25.10-ről 98.91-ra növeli. A kódtérbeli MDLM ennek ellenére 30.9%-kal csökkenti a medián perplexitást a tokentérbeli MDLM-hez képest.

Miért fontos?

Az eredmény a kodek szűk keresztmetszetének diagnózisát végrehajtható munkasorrenddé alakítja: először a kodek javítását kell előnyben részesíteni, ezt követően a tokentérbeli és kódtérbeli generálást összehasonlítani, a látens helyettesítő mutatók javulásában pedig csak akkor megbízni, ha a dekódolt szöveg is javul.

Kivonat

A tömörített rövidszöveg-generátorok két különböző ponton hibázhatnak: a kodek már a generálás megkezdése előtt információt veszíthet, vagy a látens generátor gyenge kódokat állíthat elő. E hibamódok elkülönítése nélkül a kutatók számítási erőforrásokat fordíthatnak a nem megfelelő komponens javítására. A problémát egy ellenőrzött, 64-ről 16-ra tömörítő TinyStories-esettanulmányban vizsgáljuk, amely hierarchikus VQ-VAE-2 kodekre és maszkolt diszkrét diffúziós generátorra (MDLM) épül. Olyan szakaszos validációs protokollt alkalmazunk, amely egyetlen közös külső GPT-2 értékelőmodell mellett külön méri a kodekrekonstrukció hűségét, a látens generálás minőségét és a kiegészítő látens diagnosztikai mutatókat; a geometriai vizsgálathoz emellett kiegészítő szemantikai metrikákat is közlünk. A vizsgált konfigurációban önmagában a kodekrekonstrukció 15.17-ről 27.36-ra (+80.4%) növeli a külső perplexitás mediánját, p95-értékét pedig 25.10-ről 98.91-ra (+294.1%); ez arra utal, hogy a meghatározó minőségromlás a látens generálás kezdete előtt jelentkezik. Ugyanazon értékelőmodell szerint a kódtérbeli MDLM továbbra is érdemben jobb a tokentérbeli diffúziónál: rendre 32.9%-kal, 30.9%-kal és 36.6%-kal csökkenti az átlagot, a mediánt és a p95-értéket. A geometriatudatos regularizáció javítja a lokális látens helyettesítő mutatókat, a rendelkezésre álló futtatásokban azonban nem javítja a dekódolt szöveg metrikáit. A hozzájárulás módszertani, nem pedig algoritmikus: a tanulmány egy konkrét folyamatlánchoz újrafelhasználható, szakaszos diagnosztikát mutat be, és szemlélteti, hogy ebben a környezetben a gyakorlati minőségi plafont a kodekhűség, nem pedig a látens zajmentesítés határozza meg.

Megjelenés helye 2026 39th Conference of Open Innovations Association (FRUCT)

A hozzájárulás típusa Diagnosztikai módszertan

1. szám69–76. o.Fő konferencia

DOI https://doi.org/10.23919/FRUCT70069.2026.11506553

A tanulmány megosztásaMegosztás

Fő eredmények

A Hol romlik a minőség a tömörített rövidszöveg-generálásban? A szűk keresztmetszet szakaszos lokalizálása című tanulmány fő eredményei
Értékelési pontnÁtlagos PPLMedián PPLp95 PPL
Eredeti szövegek25616.2415.1725.1
Kodekrekonstrukciók25637.2627.3698.91
AR-alapmodell25130.9823.2756.11
Tokentérbeli MDLM25644.7438.4293.6
Kódtérbeli MDLM25630.0126.5559.36

Fő eredmény. A megfigyelt minőségromlás nagy része már a generálás előtt bekövetkezik; a kódtérbeli diffúzió ennek ellenére 30.9%-kal csökkenti a medián perplexitást a tokentérbeli diffúzióhoz képest.

Adathalmaz
TinyStories
Mintanagyság
256 párosított rekonstrukciós minta; módonként 251–256 generált minta; négy illesztett geometriai beállítás.
Mérőszámok
Külső GPT-2 perplexitás: átlag, medián, p95 és maximum; a kódkönyv kihasználtsága és a tartó mérete; SBERT, BERTScore, MAUVE, valamint az LLM-bíró összegzése a geometriai futtatásokhoz
Bizonytalanság
A közölt összehasonlítások leíró jellegű egyszeri futásokon alapulnak; konfidenciaintervallumokat és több véletlenmagra épülő szignifikanciabecsléseket nem számítottak.
Feltételek
A 64 hosszúságú GPT-2 tokensorozatokat hierarchikus VQ-VAE-2 tömöríti 16 felső szintű kóddá; minden generálási mód ugyanazt a külső értékelőt használja.

Eredmények letöltése:CSVJSONMarkdownKülső tükörpéldány:Hugging Face-adatlap

PDF és hivatkozás

Hivatkozás erre a tanulmányra A BibTeX az ajánlott formátum. Az alábbi változatok mindegyike ugyanabból a publikációs rekordból készül.

PDF megnyitása
@inproceedings{Gavrilov2026WhereQuality,
  title      = {Where Quality Breaks in Compressed Short-Text Generation: Staged Bottleneck Localization},
  author     = {Gavrilov, Alexey and Gazzaev, Alan-Barsag and Muravyov, Sergey},
  booktitle  = {2026 39th Conference of Open Innovations Association (FRUCT)},
  publisher  = {IEEE},
  year       = {2026},
  pages      = {69--76},
  doi        = {10.23919/FRUCT70069.2026.11506553},
  url        = {https://doi.org/10.23919/FRUCT70069.2026.11506553},
  isbn       = {978-952-65246-5-8},
}
.bib letöltése

Hivatkozási fájlok:APA-szövegIEEE-szövegRISCSL-JSONSchema.org JSON-LDOAI-DC XMLOpenAIRE v4 XMLMODS XMLJATS 1.4 metaadat-XMLTeljes szövegű JATS 1.4 XMLRDF TurtleHivatkozáskészlet (JSON)Hivatkozáskészlet (HTTP)RO-Crate

DOI:https://doi.org/10.23919/FRUCT70069.2026.11506553

Teljes útmutató

Teljes kutatási útmutató

Módszer

A tanulmány mindhárom értékelési szakaszban ugyanazt az értékelőt használja, így minden további átalakításhoz mérhető minőségi eltérés rendelhető.

  1. Rekonstruálás

    Minden 64 tokenes TinyStories-mintát kódoljunk 16 felső szintű kóddá, majd azonnal dekódoljuk a kodek rekonstrukciós veszteségének méréséhez.

  2. Generálás

    Az MDLM segítségével generáljunk szövegtokeneket vagy diszkrét látens kódokat, majd a kódtérbeli mintákat ugyanazzal a betanított kodekkel dekódoljuk.

  3. Összehasonlítás

    Az eredeti, rekonstruált és generált szövegeket ugyanazzal a külső GPT-2-protokollal értékelje, beleértve a mediánra és az eloszlás széleire vonatkozó statisztikákat is.

A tömörített szöveg generálásának szakaszos folyamatábrája: az eredeti szöveg, a kodekrekonstrukció, a kódtérbeli MDLM és a dekódolt szöveg összevetésével különíti el a kodek veszteségét a generálás veszteségétől.
A szűk keresztmetszet szakaszos lokalizálása a dekódolt szövegre alkalmazott egységes értékelési protokollal különíti el a kodek rekonstrukciós veszteségét a látens generálás veszteségétől.Forrás: A szerző által készített magyarázó ábra a közzétett módszer és eredmények alapján..Újrafelhasználási feltételek: CC BY 4.0.Javasolt hivatkozás: Gavrilov, Gazzaev, and Muravyov (2026), Where Quality Breaks in Compressed Short-Text Generation. SVG letöltése.

Alapgondolat

Egy későbbi generátor nem képes visszaállítani a kodek által már elvetett információt. Ezért a látens generálás eredményeinek értelmezése előtt auditálni kell a rekonstrukciós szakaszt.

Eltérés a kapcsolódó megközelítésektől

A szokásos végponttól végpontig terjedő összehasonlítások egyetlen végső generálási pontszámot közölnek. Ez a protokoll párosított rekonstrukciós ellenőrzőpontot iktat be, és elkülöníti a látens tér állapotmutatóit a dekódolt szövegen nyert bizonyítékoktól.

Mi az újdonság?

A hozzájárulás nem új zajtalanító algoritmus, hanem egy konkrét tömörítettszöveg-folyamatban újra felhasználható, szakaszos diagnosztikai módszertan.

Kérdések, amelyek megválaszolásához e tanulmány hozzájárul

Nyisson meg egy kérdést a tanulmányon alapuló tömör válaszért. A bizonyítékok részletes érvényességi határait a Korlátok szakasz ismerteti.

  1. Hol romlik el a minőség a tömörített rövidszöveg-generálásban?

    A vizsgált, 64-ről 16-ra tömörítő TinyStories-folyamatban a meghatározó minőségromlás a kodekrekonstrukció során, még a látens generálás kezdete előtt jelentkezik. A külső GPT-2-perplexitás mediánja az eredeti szöveg 15.17-es értékéről a rekonstrukció után 27.36-ra, míg a p95 25.10-ről 98.91-re nő. Ez egyetlen konfiguráció eredménye, nem pedig a kodekek általános érvényű rangsora.

  2. Hogyan különíthető el a kodek vesztesége a látens generálás veszteségétől?

    A szakaszos protokoll az eredeti mintákat, a hozzájuk párosított kodekrekonstrukciókat és a végső generált szöveget ugyanazzal a külső értékelővel vizsgálja. Az eredeti és a rekonstrukció közötti eltérés a kodek hozzájárulását becsüli, míg a rekonstrukció és a generált kimenet összevetése segít lokalizálni a generálási szakasz további veszteségét. A látens reprezentáció állapotmutatóit a dekódolt szövegből származó bizonyítékoktól elkülönítve közlik.

  3. Hogyan értékelendő a diszkrét látens reprezentációkon alapuló szöveggenerálás?

    A tanulmány azt javasolja, hogy a generátorok összehasonlítása előtt ellenőrizzük a rekonstrukció hűségét, minden szakaszban ugyanazt a dekódoltszöveg-értékelőt alkalmazzuk, és közöljük az eloszlás közepére, valamint széleire vonatkozó statisztikákat. A kódkönyv kihasználtságát, geometriáját és más látens helyettesítő mutatókat diagnosztikai eszközként, nem pedig a dekódolt szöveg minőségének helyettesítőjeként kezeli.

  4. Felülmúlja-e a kódtérbeli diffúzió a tokentérbeli diffúziót?

    A közös értékelővel és a vizsgált beállításban a kódtérbeli MDLM rendre 32.9%, 30.9% és 36.6% mértékben csökkenti az átlagos, a medián és a p95 perplexitást a tokentérbeli MDLM-hez képest. Az összevetés leíró jellegű és konfigurációspecifikus: nem állapít meg általános rangsort adatkészletek, tömörítési arányok, kodekek vagy diffúziós architektúrák között.

  5. A látens geometria kedvezőbb mérőszámai garantálják-e a jobb generált szöveget?

    Nem. A rendelkezésre álló párosított futásokban a geometriatudatos regularizáció javította a látens tér lokális helyettesítő mérőszámait, a dekódolt szöveg mérőszámait azonban nem. Az eredmény azt támasztja alá, hogy minden helyettesítő mérőszámon elért javulást a végső dekódolt kimeneten kell ellenőrizni, az átvitel hiányát pedig hasznos negatív eredményként, nem pedig a generálás javulásának bizonyítékaként kell kezelni.

Összehasonlítás a kapcsolódó megközelítésekkel

A Hol romlik a minőség a tömörített rövidszöveg-generálásban? A szűk keresztmetszet szakaszos lokalizálása című tanulmány összevetése a kapcsolódó megközelítésekkel
MegközelítésReprezentációVezérlés / diagnosztikaMit őriznek meg vagy mérnek?
Tokentérbeli diffúzióSzövegtokenekGenerálási minőség a tokentérbenA közvetlen generálás folyamatossága és az értékelő viselkedése
Tömörített látens generálásDiszkrét látens kódok kodek alkalmazásávalA teljes folyamat végső generálási minőségeA kodek és a látens generátor együttes viselkedése
A szűk keresztmetszet szakaszos lokalizálásaSzöveg, kodekrekonstrukciók és diszkrét látens változókKülönítse el a kodek veszteségét a generálási veszteségtőlHol romlik a minőség közös értékelő alkalmazásakor?

Az összehasonlítás különbséget tesz az értékelési kör és a bizonyítékok között; nem az eljárások egyetemes rangsora.

Relevancia és hatókör

A szakaszos protokoll akkor hasznos, ha a generatív folyamat egy tanult kodeket és egy látens térbeli generátort egyaránt tartalmaz, de nem világos, mi okozza a kimeneti minőség romlását.

  1. Tömörített, diszkrét látens reprezentációkon alapuló szöveggenerálás

  2. A kodekrekonstrukció hűsége generatív folyamatláncokban

  3. Maszkolt diffúziós nyelvmodellezés a kódtérben

  4. A szűk keresztmetszet lokalizálása és szakaszkonzisztens értékelés

  5. A látens tér helyettesítő mérőszámaiban elért javulás auditálása a dekódolt szöveg alapján

Lásd a korlátokat és a bizonyítékok érvényességi határait

Korlátok

  • Az empirikus vizsgálat kizárólag a TinyStories adathalmazt használja.
  • A fő elemzés egyetlen, erőteljes 64-ről 16-ra történő tömörítési beállításra terjed ki.
  • Az értékelt rendszer egy hierarchikus VQ-VAE-2 kodekcsaládot egy MDLM-generátorral kapcsol össze.
  • Az összehasonlítások egyetlen futtatáson alapulnak, ezért leíró jellegűek, nem pedig több véletlenmaggal kapott statisztikai becslések.
  • A külső GPT-2 perplexitás közös diagnosztikai eszköz, nem pedig a szemantikai minőség univerzális mérőszáma.
  • A következtetéseket nem szabad közvetlenül minden adathalmazra, kodekarchitektúrára vagy tömörítési arányra átvinni.

A tanulmányban hivatkozott szakirodalom

E bejegyzések a tanulmány PDF-változatának számozott References szakaszához tartoznak.

  1. Subham Sekhar Sahoo, Marianne Arriola, Yair Schiff, Aaron Gokaslan, Edgar Marroquin, Justin T Chiu, Alexander Rush, Volodymyr Kuleshov. . Simple and Effective Masked Diffusion Language Models. Advances in Neural Information Processing Systems.
  2. Aaron van den Oord, Oriol Vinyals, Koray Kavukcuoglu. . Neural Discrete Representation Learning. Advances in Neural Information Processing Systems.
  3. Ali Razavi, Aaron van den Oord, Oriol Vinyals. . Generating Diverse High-Fidelity Images with VQ-VAE-2. Advances in Neural Information Processing Systems.
  4. Jacob Austin, Daniel D. Johnson, Jonathan Ho, Daniel Tarlow, Rianne van den Berg. . Structured Denoising Diffusion Models in Discrete State-Spaces. Advances in Neural Information Processing Systems.
  5. Aaron Lou, Chenlin Meng, Stefano Ermon. . Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution. Proceedings of the 41st International Conference on Machine Learning.
  6. Xiaochuang Han, Sachin Kumar, Yulia Tsvetkov. . SSD-LM: Semi-autoregressive Simplex-based Diffusion Language Model for Text Generation and Modular Control. Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics.
  7. Xiang Lisa Li, John Thickstun, Ishaan Gulrajani, Percy Liang, Tatsunori B. Hashimoto. . Diffusion-LM Improves Controllable Text Generation. Advances in Neural Information Processing Systems.
  8. Huiwen Chang, Han Zhang, Lu Jiang, Ce Liu, William T. Freeman. . MaskGIT: Masked Generative Image Transformer. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.
  9. Marjan Ghazvininejad, Omer Levy, Yinhan Liu, Luke Zettlemoyer. . Mask-Predict: Parallel Decoding of Conditional Masked Language Models. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing.
  10. Emiel Hoogeboom, Didrik Nielsen, Priyank Jaini, Patrick Forré, Max Welling. . Argmax Flows and Multinomial Diffusion: Learning Categorical Distributions. Advances in Neural Information Processing Systems.
  11. Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever. . Language Models are Unsupervised Multitask Learners. OpenAI Technical Report.
  12. Nils Reimers, Iryna Gurevych. . Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing.
  13. Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, Yoav Artzi. . BERTScore: Evaluating Text Generation with BERT. International Conference on Learning Representations.
  14. Krishna Pillutla, Swabha Swayamdipta, Rowan Zellers, John Thickstun, Sean Welleck, Yejin Choi, Zaid Harchaoui. . MAUVE: Measuring the Gap Between Neural Text and Human Text using Divergence Frontiers. Advances in Neural Information Processing Systems.
  15. Lianmin Zheng, Wei-Lin Chiang, Ying Sheng, Siyuan Zhuang, Zhanghao Wu, Yonghao Zhuang, Zi Lin, Zhuohan Li, Dacheng Li, Eric P. Xing, Hao Zhang, Joseph E. Gonzalez, Ion Stoica. . Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. Advances in Neural Information Processing Systems, Datasets and Benchmarks Track.

Forrásanyagok és reprodukálhatóság

Kiadó
IEEE
A publikáció forrásanyagai
A nyilvános kézirat, az eredménytáblázatok, a magyarázó ábra és a hivatkozási fájlok itt érhetők el. Az implementációs kódot és az ellenőrzőpontokat nem tették közzé.

Adatközlési nyilatkozat

Forrás
TinyStories, a tanulmányban ismertetett formában.
Licenc
A TinyStories használatára továbbra is az adatkészlet saját feltételei vonatkoznak; a webhely nem terjeszti újra az adatkészlet fájljait.
Előfeldolgozás
GPT-2 tokenizálás, rögzített 64 tokenes bemenetek, valamint hierarchikus időbeli tömörítés 64-ről 32, majd 16 pozícióra.
Felosztás
A közlemény 256 párosított rekonstrukciós mintát és módonként 251–256 generált mintát közöl; újra felhasználható tanító/validációs felosztási jegyzéket nem tesz közzé.
Formátum
Rövid szövegminták, GPT-2-tokensorozatok, diszkrét kódsorozatok, generálási naplók és összefoglaló táblázatok.
Verzió / ellenőrző összeg
A tanulmány nem közli az adathalmaz ellenőrző összegét vagy a TinyStories megváltoztathatatlan pillanatkép-azonosítóját.
Beszerzés
A publikáció oldalán nem tettek közzé nyilvános adatbeszerzési szkriptet.
Felhasználási korlátok
A bizonyítékok rövid szintetikus történetekre terjednek ki, ezért nem tekintendők a korlátozás nélküli természetesnyelv-generálás viszonyítási alapjának.

Verziók

  1. Megjelent változatIEEE / FRUCT, 2026
  5. Konferencia-előadásFRUCT 39-előadás
  6. Konferenciakiadvány tárgymutatójaA FRUCT 39 hivatalos kötete
  7. Konferenciakiadvány PDF-formátumbanFRUCT nyílt hozzáférésű teljes szöveg
  8. A tudományos rekord megnyitásaOpenAlex
  9. Hivatkozási gráf rekordjaSemantic Scholar
  10. A szerző által megosztott teljes szövegResearchGate

A közzétett DOI az elsődleges bibliográfiai azonosító. Ez az oldal marad a projekt egyetlen kanonikus URL-je minden változatban.

Olvassa el a következőt: A kodek szűk keresztmetszetének diagnosztikája kutatási útmutatót.A szerzőről.

Célzott kutatási jegyzetek

A szándékhoz igazodó válaszok, egyértelmű bizonyítéki korlátokkal és a tanulmányra visszamutató hivatkozásokkal.