# Where Quality Breaks in Compressed Short-Text Generation: Staged Bottleneck Localization

Canonical HTML: https://aogavrilov.com/ta/publications/where-quality-breaks/

Document language: ta

சுருக்கப்பட்ட குறுஉரை உருவாக்கத்தில் தரம் சிதையும் இடம்: கட்டவாரி இடர்ப்புள்ளி இருப்பிடமறிதல்

கோடெக் மறுகட்டமைப்பு இழப்பையும் மறைநிலை உருவாக்க இழப்பையும் பிரித்தறியும், சுருக்கப்பட்ட குறுஉரை உருவாக்கத்திற்கான கட்டவாரி நோயறிதல்.

[Alexey Gavrilov](https://orcid.org/0009-0006-3147-5430) 1 [Alan-Barsag Gazzaev](https://orcid.org/0009-0000-0334-312X) 1 [Sergey Muravyov](https://orcid.org/0000-0002-4251-1744) 1

1. [ITMO University, Saint Petersburg, Russia](https://en.itmo.ru/)

[முழுக் கட்டுரையையும் HTML வடிவில் படிக்கவும்](https://aogavrilov.com/publications/where-quality-breaks/full-text/) சூத்திரங்கள், அட்டவணைகள், படங்கள், மேற்கோள்கள் ஆகியவற்றுடன் தேடக்கூடிய உரை.

இறுதியாக ஏற்கப்பட்ட கையெழுத்துப் பிரதி (DOI உடன் ஆசிரியர் வெளியிட்ட பதிப்பு). © 2026 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting or republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works. [பதிவிடல் மற்றும் மறுபயன்பாட்டு விதிமுறைகள்](https://journals.ieeeauthorcenter.ieee.org/become-an-ieee-journal-author/publishing-ethics/guidelines-and-policies/post-publication-policies/) .

## 30 வினாடிகளில் ஆய்வுக்கட்டுரை

**ஆராய்ச்சிக் கேள்வி** சுருக்கப்பட்ட உரை-உருவாக்கச் செயல்தொடரில் ஏற்படும் தர இழப்பை கோடெக்கிற்கும் மறைநிலை உருவாக்கிக்கும் தனித்தனியாக எவ்வாறு காரணப்படுத்தலாம்?

### சிக்கல்

சுருக்கப்பட்ட குறுஉரை உருவாக்கத்தில், தரமற்ற குறிவிலக்கப்பட்ட உரைக்கு கோடெக் இழந்த தகவலோ பலவீனமான மறைநிலை வெளி உருவாக்கமோ காரணமாக இருக்கலாம். முனைமுதல் முனைவரையிலான மதிப்பெண்கள் இத்தோல்வி முறைகளின் வேறுபாட்டை மறைத்து, உகப்பாக்க முயற்சியைத் தவறான கூறை நோக்கிச் செலுத்தக்கூடும்.

### அணுகுமுறை

கட்டவாரி நெறிமுறை, மூல உரைகள், அவற்றுடன் இணையான கோடெக் மறுகட்டமைப்புகள், டோக்கன் வெளி MDLM வெளியீடுகள், குறியீட்டு வெளி விரவல் வெளியீடுகள் ஆகிய அனைத்தையும் ஒரே வெளிப்புற GPT-2 மதிப்பீட்டாளரால் மதிப்பிடுகிறது. குறியீட்டுத் தொகுதி மற்றும் வடிவியல் அளவீடுகள், குறிவிலக்கப்பட்ட உரையின் தரத்திற்கான மாற்றீடுகளாக அல்லாமல் நோயறிதல் அளவீடுகளாகவே கருதப்படுகின்றன.

### முதன்மை முடிவு

கோடெக் மறுகட்டமைப்பால் வெளிப்புறக் குழப்பநிலையின் இடைநிலை 15.17 இலிருந்து 27.36 ஆகவும், p95 25.10 இலிருந்து 98.91 ஆகவும் உயர்கிறது. இருந்தபோதிலும், டோக்கன் வெளி MDLM-உடன் ஒப்பிடும்போது குறியீட்டு வெளி MDLM இடைநிலைக் குழப்பநிலையை 30.9% குறைக்கிறது.

### இது ஏன் முக்கியம்

இம்முடிவு கோடெக் இடர்ப்புள்ளி நோயறிதலைச் செயல்படுத்தக்கூடிய பணிவரிசையாக மாற்றுகிறது: முதலில் கோடெக் மேம்பாடுகளுக்கு முன்னுரிமை அளிக்கவும்; பின்னர் டோக்கன் வெளி மற்றும் குறியீட்டு வெளி உருவாக்கத்தை ஒப்பிடவும்; குறிவிலக்கப்பட்ட உரையும் மேம்படும்போது மட்டுமே மறைநிலைப் பதிலளவீட்டின் முன்னேற்றங்களை நம்பவும்.

## சுருக்கம்

சுருக்கப்பட்ட குறுஉரை உருவாக்கிகள் இரண்டு இடங்களில் தோல்வியடையலாம்: உருவாக்கம் தொடங்குமுன் கோடெக் தகவலை இழக்கலாம்; அல்லது மறைநிலை உருவாக்கி தரமற்ற குறியீடுகளை உருவாக்கலாம். இத்தோல்வி முறைகளைப் பிரித்தறியாவிட்டால், ஆய்வாளர்கள் தவறான கூறை மேம்படுத்தக் கணிப்பீட்டு வளத்தைச் செலவிடக்கூடும். படிநிலை VQ-VAE-2 கோடெக் மற்றும் முகமூடியிட்ட தனித்த விரவல் உருவாக்கி (MDLM) கொண்டு கட்டமைக்கப்பட்ட, கட்டுப்படுத்தப்பட்ட 64-இலிருந்து-16 TinyStories வழக்காய்வில் இச்சிக்கலை ஆராய்கிறோம். வடிவியல் ஆய்வுக்கான துணைப் பொருண்மை அளவீடுகளையும் அறிக்கையிடும் அதேவேளை, ஒரே பகிரப்பட்ட வெளிப்புற GPT-2 மதிப்பீட்டாளரின் கீழ் கோடெக் மறுகட்டமைப்பு உண்மைநிகர்மை, மறைநிலை உருவாக்கத் தரம், துணை மறைநிலை நோயறிதல்கள் ஆகியவற்றைப் பிரிக்கும் கட்டவாரிச் சரிபார்ப்பு நெறிமுறையைப் பயன்படுத்துகிறோம். சோதிக்கப்பட்ட அமைப்பில், கோடெக் மறுகட்டமைப்பு மட்டுமே வெளிப்புறக் குழப்பநிலையின் இடைநிலையை 15.17 இலிருந்து 27.36 ஆக (+80.4%), p95-ஐ 25.10 இலிருந்து 98.91 ஆக (+294.1%) உயர்த்துகிறது; முதன்மையான தர இழப்பு மறைநிலை உருவாக்கம் தொடங்குமுன்பே ஏற்படுவதை இது காட்டுகிறது. அதே மதிப்பீட்டாளரின் கீழ், குறியீட்டு வெளி MDLM, டோக்கன் வெளி விரவலைவிடக் கணிசமாக வலுவாக இருந்து, சராசரி, இடைநிலை, p95 ஆகியவற்றை முறையே 32.9%, 30.9%, 36.6% குறைக்கிறது. வடிவியல் உணர்வுள்ள ஒழுங்குபடுத்தல் உள்ளூர் மறைநிலைப் பதிலளவீடுகளை மேம்படுத்துகிறது; ஆனால் கிடைத்த இயக்கங்களில் குறிவிலக்கப்பட்ட உரை அளவீடுகளை மேம்படுத்தவில்லை. இப்பங்களிப்பு படிமுறை சார்ந்ததல்ல, வழிமுறை சார்ந்தது: ஒரு குறிப்பிட்ட செயல்தொடருக்கான மீள்பயன்படுத்தத்தக்க கட்டவாரி நோயறிதலைக் கட்டுரை வழங்குகிறது; மேலும், இவ்வமைப்பில் மறைநிலை இரைச்சல் நீக்கத்தைவிட கோடெக் உண்மைநிகர்மையே நடைமுறைத் தர உச்சவரம்பை நிர்ணயிப்பதைக் காட்டுகிறது.

வெளியிடப்பட்ட இடம் 2026 39th Conference of Open Innovations Association (FRUCT)

பங்களிப்பு வகை நோயறிதல் வழிமுறை

ஏப்ரல் 28, 2026 இதழ் 1 பக். 69–76 முதன்மை மாநாடு

DOI [https://doi.org/10.23919/FRUCT70069.2026.11506553](https://doi.org/10.23919/FRUCT70069.2026.11506553)

## உள்ளடக்கம் இந்தப் பக்கத்தில்

## முக்கிய முடிவுகள்

| மதிப்பீட்டுப் புள்ளி | n | சராசரி PPL | இடைநிலை PPL | p95 PPL |
| --- | --- | --- | --- | --- |
| மூல உரைகள் | 256 | 16.24 | 15.17 | 25.1 |
| கோடெக் மறுகட்டமைப்புகள் | 256 | 37.26 | 27.36 | 98.91 |
| AR அடிப்படைநிலை | 251 | 30.98 | 23.27 | 56.11 |
| Token-space MDLM | 256 | 44.74 | 38.42 | 93.6 |
| குறியீட்டு-வெளி MDLM | 256 | 30.01 | 26.55 | 59.36 |

**முக்கிய முடிவு.** காணப்பட்ட தர இழப்பின் பெரும்பகுதி உருவாக்கத்திற்கு முன்பே ஏற்படுகிறது; இருந்தபோதிலும், டோக்கன் வெளி விரவலுடன் ஒப்பிடும்போது குறியீட்டு வெளி விரவல் இடைநிலைக் குழப்பநிலையை 30.9% குறைக்கிறது.

முடிவுகளைப் பதிவிறக்குக: [CSV](https://aogavrilov.com/publications/where-quality-breaks/results.csv) [JSON](https://aogavrilov.com/publications/where-quality-breaks/results.json) [Markdown](https://aogavrilov.com/publications/where-quality-breaks/results.md) வெளிப்புறப் பிரதி: [Hugging Face தரவுத்தொகுப்பு அட்டை](https://huggingface.co/datasets/aogavrilov/where-quality-breaks-results)

## PDF மற்றும் மேற்கோள்

**இந்த ஆய்வுக் கட்டுரையை மேற்கோளிடுக** BibTeX பரிந்துரைக்கப்படும் வடிவம். கீழே உள்ள ஒவ்வொரு வடிவமும் அதே வெளியீட்டுப் பதிவிலிருந்து உருவாக்கப்படுகிறது.

```
@inproceedings{Gavrilov2026WhereQuality,
  title      = {Where Quality Breaks in Compressed Short-Text Generation: Staged Bottleneck Localization},
  author     = {Gavrilov, Alexey and Gazzaev, Alan-Barsag and Muravyov, Sergey},
  booktitle  = {2026 39th Conference of Open Innovations Association (FRUCT)},
  publisher  = {IEEE},
  year       = {2026},
  pages      = {69--76},
  doi        = {10.23919/FRUCT70069.2026.11506553},
  url        = {https://doi.org/10.23919/FRUCT70069.2026.11506553},
  isbn       = {978-952-65246-5-8},
}
```

மேற்கோள் கோப்புகள்: [APA உரை](https://aogavrilov.com/publications/where-quality-breaks/citation-apa.txt) [IEEE உரை](https://aogavrilov.com/publications/where-quality-breaks/citation-ieee.txt) [RIS](https://aogavrilov.com/publications/where-quality-breaks/citation.ris) [CSL-JSON](https://aogavrilov.com/publications/where-quality-breaks/citation.json) [Schema.org JSON-LD](https://aogavrilov.com/publications/where-quality-breaks/metadata.jsonld) [OAI-DC XML](https://aogavrilov.com/publications/where-quality-breaks/oai-dc.xml) [OpenAIRE v4 XML](https://aogavrilov.com/publications/where-quality-breaks/openaire.xml) [MODS XML](https://aogavrilov.com/publications/where-quality-breaks/mods.xml) [JATS 1.4 மீத்தரவு XML](https://aogavrilov.com/publications/where-quality-breaks/metadata.jats.xml) [முழு-உரை JATS 1.4 XML](https://aogavrilov.com/publications/where-quality-breaks/full-text/article.jats.xml) [RDF Turtle](https://aogavrilov.com/publications/where-quality-breaks/metadata.ttl) [இணைப்புத் தொகுப்பு (JSON)](https://aogavrilov.com/publications/where-quality-breaks/linkset.json) [இணைப்புத் தொகுப்பு (HTTP)](https://aogavrilov.com/publications/where-quality-breaks/linkset) [RO-Crate](https://aogavrilov.com/publications/where-quality-breaks/ro-crate-metadata.json)

DOI: [https://doi.org/10.23919/FRUCT70069.2026.11506553](https://doi.org/10.23919/FRUCT70069.2026.11506553)

முழுமையான வழிகாட்டி

## முழுமையான ஆய்வு வழிகாட்டி

## முறை

## 

ஒவ்வொரு கூடுதல் மாற்றத்தையும் அளவிடக்கூடிய தர இடைவெளியுடன் தொடர்புபடுத்தும் வகையில், மூன்று மதிப்பீட்டுக் கட்டங்களிலும் ஒரே மதிப்பீட்டாளரைக் கட்டுரை பயன்படுத்துகிறது.

1. மறுகட்டமைக்கவும் ஒவ்வொரு 64-டோக்கன் TinyStories மாதிரியையும் 16 மேல்நிலைக் குறியீடுகளாகக் குறியாக்கி, கோடெக் மறுகட்டமைப்பு இழப்பை அளவிட உடனடியாகக் குறிவிலக்குக.
2. உருவாக்குக MDLM கொண்டு உரை டோக்கன்கள் அல்லது தனித்த மறைநிலைக் குறியீடுகளில் ஒன்றை உருவாக்கி, பின்னர் அதே பயிற்றுவிக்கப்பட்ட கோடெக் வழியாகக் குறியீட்டு-வெளி மாதிரிகளைக் குறிவிலக்குக.
3. ஒப்பிடுக இடைநிலை மற்றும் வால் புள்ளிவிவரங்கள் உட்பட, ஒரே வெளிப்புற GPT-2 நெறிமுறையைக் கொண்டு அசல்கள், மறுகட்டமைப்புகள், மற்றும் உருவாக்கப்பட்ட உரைகளுக்கு மதிப்பெண் வழங்கவும்.

![கோடெக் இழப்பை உருவாக்க இழப்பிலிருந்து பிரித்தறிய, மூல உரை, கோடெக் மறுகட்டமைப்பு, குறியீட்டு வெளி MDLM, குறிவிலக்கப்பட்ட உரை ஆகியவற்றை ஒப்பிடும் கட்டவாரிச் சுருக்கப்பட்ட உரை உருவாக்கச் செயல்தொடர்.](https://aogavrilov.com/publications/where-quality-breaks/staged-codec-bottleneck-localization.svg)

**பகிரப்பட்ட ஒரே குறிவிலக்கப்பட்ட உரை மதிப்பீட்டு நெறிமுறையின் கீழ், கட்டவாரி இடர்ப்புள்ளி இருப்பிடமறிதல் கோடெக் மறுகட்டமைப்பு இழப்பை மறைநிலை உருவாக்க இழப்பிலிருந்து பிரித்தறிகிறது.* மூலம்: [வெளியிடப்பட்ட முறை மற்றும் முடிவுகளின் அடிப்படையில் ஆசிரியர் உருவாக்கிய விளக்கப்படம்.](https://doi.org/10.23919/FRUCT70069.2026.11506553) . மறுபயன்பாட்டு விதிமுறைகள்: [CC BY 4.0](https://creativecommons.org/licenses/by/4.0/) . பரிந்துரைக்கப்பட்ட குறிப்பிடல்: Gavrilov, Gazzaev, and Muravyov (2026), Where Quality Breaks in Compressed Short-Text Generation. [SVG-ஐப் பதிவிறக்குக](https://aogavrilov.com/publications/where-quality-breaks/staged-codec-bottleneck-localization.svg) .*

### மையக் கருத்து

கோடெக் ஏற்கெனவே கைவிட்ட தகவலைப் பின்நிலை உருவாக்கியால் மீட்க முடியாது. எனவே மறைநிலை உருவாக்க முடிவுகளைப் பொருள்கொள்வதற்கு முன் மீள்கட்டமைப்புப் படிநிலை தணிக்கை செய்யப்பட வேண்டும்.

### தொடர்புடைய அணுகுமுறைகளிலிருந்து வேறுபாடு

வழக்கமான முழுமுனை ஒப்பீடுகள் ஒரே இறுதி உருவாக்க மதிப்பெண்ணை அறிக்கையிடுகின்றன. இந்நெறிமுறை இணையான மீளுருவாக்கச் சோதனைப்புள்ளியைச் சேர்த்து, மறைநிலை வெளியிலுள்ள நல அளவீடுகளைக் குறிவிலக்கப்பட்ட உரைச் சான்றிலிருந்து பிரிக்கிறது.

### புதியது என்ன

இப்பங்களிப்பு புதிய இரைச்சல்நீக்க வழிமுறையன்று; ஒரு குறிப்பிட்ட சுருக்க-உரைப் பணிக்குழாய்க்கான மீள்பயன்படுத்தக்கூடிய படிநிலை நோயறிதல் முறையியலாகும்.

## இந்தக் கட்டுரை விடையளிக்க உதவும் கேள்விகள்

## 

ஆய்வுக்கட்டுரையை ஆதாரமாகக் கொண்ட சுருக்கமான விடைக்கு ஒரு கேள்வியைத் திறக்கவும். விரிவான சான்று எல்லைகள் ‘வரம்புகள்’ பகுதியில் பட்டியலிடப்பட்டுள்ளன.

1. அழுத்தப்பட்ட குற்றுரை உருவாக்கத்தில் தரம் எங்கே சிதைகிறது? சோதிக்கப்பட்ட TinyStories 64-to-16 செயல்தொடரில், மறைநிலை உருவாக்கம் தொடங்குவதற்கு முன்பே கோடெக் மீளுருவாக்கக் கட்டத்தில் முதன்மையான தரச்சிதைவு தோன்றுகிறது. இடைநிலை வெளிப்புற GPT-2 perplexity மூல உரைக்கான 15.17 இலிருந்து மீளுருவாக்கத்துக்குப் பின் 27.36 ஆகவும், p95 25.10 இலிருந்து 98.91 ஆகவும் உயர்கிறது. இது உலகளாவிய கோடெக் தரவரிசை அல்ல; ஓர் அமைவடிவுக்கான முடிவு மட்டுமே.
2. கோடெக் இழப்பையும் மறைநிலை உருவாக்க இழப்பையும் எவ்வாறு தனித்தனியாகப் பிரித்தறியலாம்? கட்டநிலை நெறிமுறை, மூலப் பிரதிகள், அவற்றுடன் இணைக்கப்பட்ட கோடெக் மறுகட்டமைப்புகள், இறுதியாக உருவாக்கப்பட்ட உரை ஆகியவற்றை ஒரே பகிரப்பட்ட வெளிப்புற மதிப்பீட்டாளரால் மதிப்பிடுகிறது. மூலத்திலிருந்து மறுகட்டமைப்புக்கான இடைவெளி கோடெக்கின் பங்களிப்பை மதிப்பிடுகிறது; மறுகட்டமைப்பையும் உருவாக்கப்பட்ட வெளியீட்டையும் ஒப்பிடுவது கூடுதலான உருவாக்கக் கட்ட இழப்பை உள்ளடக்க உதவுகிறது. மறைநிலை ஆரோக்கிய அளவீடுகள், குறிநீக்கப்பட்ட உரைச் சான்றிலிருந்து தனியே அறிவிக்கப்படுகின்றன.
3. தனித்த மறைநிலை உரை உருவாக்கத்தை எவ்வாறு மதிப்பிட வேண்டும்? உருவாக்கிகளை ஒப்பிடுவதற்கு முன் மீளுருவாக்கத் துல்லியத்தைச் சரிபார்க்கவும், ஒவ்வொரு கட்டத்திலும் ஒரே குறிவிலக்கப்பட்ட-உரை மதிப்பீட்டாளரைப் பயன்படுத்தவும், மைய மற்றும் வால் புள்ளிவிவரங்களை அறிக்கையிடவும் கட்டுரை பரிந்துரைக்கிறது. மேலும், குறியீட்டுப் புத்தகப் பயன்பாடு, வடிவியல் மற்றும் பிற மறைநிலைப் பதிலீட்டு அளவீடுகளைக் குறிவிலக்கப்பட்ட உரையின் தரத்திற்கான மாற்றீடுகளாக அல்லாமல் நோயறிதல்களாகக் கருதுகிறது.
4. குறியீட்டு-வெளிப் பரவல், டோக்கன்-வெளிப் பரவலைவிடச் சிறப்பாகச் செயல்படுகிறதா? பகிரப்பட்ட மதிப்பீட்டாளரும் சோதிக்கப்பட்ட அமைவும் பயன்படுத்தப்பட்டபோது, token-space MDLM உடன் ஒப்பிடுகையில் code-space MDLM சராசரி, இடைநிலை மற்றும் p95 perplexity-ஐ முறையே 32.9%, 30.9%, 36.6% குறைக்கிறது. இவ்வொப்பீடு விளக்கவியலானதும் அமைவுக்கே உரியதும் ஆகும்; தரவுத்தொகுப்புகள், அழுத்த விகிதங்கள், கோடெக்குகள் அல்லது diffusion கட்டமைப்புகள் அனைத்திற்குமான உலகளாவிய தரவரிசையை இது நிறுவவில்லை.
5. மேம்பட்ட மறைநிலை வடிவியல் அளவீடுகள், மேம்பட்ட உருவாக்கப்பட்ட உரைக்கு உத்தரவாதமளிக்கின்றனவா? இல்லை. கிடைக்கப்பெற்ற பொருத்தப்பட்ட இயக்கங்களில், வடிவியலறிந்த ஒழுங்குபடுத்தல் உள்ளூர் மறைநிலை-வெளிப் பதிலீட்டு அளவீடுகளை மேம்படுத்தியது; ஆனால் குறிவிலக்கப்பட்ட-உரை அளவீடுகளை மேம்படுத்தவில்லை. ஒவ்வொரு பதிலீட்டு அளவீட்டு முன்னேற்றத்தையும் இறுதிக் குறிவிலக்கப்பட்ட வெளியீட்டில் தணிக்கை செய்ய வேண்டும் என்பதையும், பரிமாற்றம் நிகழாமையை உருவாக்க மேம்பாட்டுக்கான சான்றாக அல்லாமல் பயனுள்ள எதிர்மறை முடிவாகக் கருத வேண்டும் என்பதையும் இம்முடிவு ஆதரிக்கிறது.

## தொடர்புடைய அணுகுமுறைகளுடனான ஒப்பீடு

## 

| அணுகுமுறை | பிரதிநிதித்துவம் | கட்டுப்பாடு / நோயறிதல் | எது பாதுகாக்கப்படுகிறது அல்லது அளவிடப்படுகிறது |
| --- | --- | --- | --- |
| Token-space diffusion | உரை டோக்கன்கள் | டோக்கன் வெளியில் உருவாக்கத் தரம் | நேரடி உருவாக்கத்தின் மொழியோட்டமும் மதிப்பீட்டுக் கருவியின் நடத்தையும் |
| சுருக்கப்பட்ட மறைநிலை உருவாக்கம் | கோடெக் வழியான தனித்த மறைநிலைக் குறியீடுகள் | இறுதி முனை-முதல்-முனை உருவாக்கத் தரம் | கோடெக்கும் மறைநிலை உருவாக்கியும் இணைந்த நடத்தை |
| படிநிலையான இடையூறு இருப்பிடமறிதல் | உரை, கோடெக் மீளுருவாக்கங்கள், தனித்த மறைநிலைகள் | கோடெக் இழப்பையும் உருவாக்க இழப்பையும் தனித்தனியாகப் பிரித்தறிக | ஒரே பகிரப்பட்ட மதிப்பீட்டாளரின் கீழ் தரம் சிதையும் இடம் |

இவ்வொப்பீடு மதிப்பீட்டு வரம்பையும் சான்றையும் வேறுபடுத்துகிறது; இது அணுகுமுறைகளின் உலகளாவிய தரவரிசை அல்ல.

## பொருத்தமும் ஆய்வெல்லையும்

## 

உருவாக்கச் செயல்தொடரில் கற்றறிந்த கோடெக்கும் மறைநிலை வெளி உருவாக்கியும் இருந்து, வெளியீட்டுத் தரச் சிதைவின் மூலம் தெளிவாக இல்லாதபோது கட்டநிலை நெறிமுறை பயனுள்ளதாகும்.

1. சுருக்கப்பட்ட மற்றும் தனித்துண்டு-மறைநிலை உரை உருவாக்கம்
2. உருவாக்கச் செயலோட்டங்களில் கோடெக் மறுகட்டமைப்பு உண்மைநிகர்மை
3. குறியீட்டு வெளியில் மறைக்கப்பட்ட பரவல் மொழி மாதிரியாக்கம்
4. இடர்ப்புள்ளி இருப்பிடங்காணலும் படிநிலை-இசைவான மதிப்பீடும்
5. குறிவிலக்கப்பட்ட உரைக்கு எதிராக மறைநிலை வெளிப் பதிலளவீட்டு மேம்பாடுகளைத் தணிக்கை செய்தல்

## வரம்புகள்

## 

- அனுபவவழி ஆய்வு TinyStories-ஐ மட்டுமே பயன்படுத்துகிறது.
- முதன்மைப் பகுப்பாய்வு தீவிரமான ஒரே 64-இலிருந்து-16 சுருக்க அமைவை மட்டுமே உள்ளடக்குகிறது.
- மதிப்பிடப்பட்ட அமைப்பு ஒரு படிநிலை VQ-VAE-2 கோடெக் குடும்பத்தையும் ஓர் MDLM உருவாக்கியையும் இணைக்கிறது.
- ஒப்பீடுகள் ஒற்றை இயக்கங்களை அடிப்படையாகக் கொண்ட விளக்கத் தன்மையுடையவை; அவை பல-விதை புள்ளியியல் மதிப்பீடுகள் அல்ல.
- வெளிப்புற GPT-2 குழப்பநிலை என்பது பகிரப்பட்ட நோயறிதல் அளவீடு மட்டுமே; உலகளாவிய பொருண்மைத் தர அளவீடு அல்ல.
- தீர்மானங்களை எல்லாத் தரவுத்தொகுப்புகள், கோடெக் கட்டமைப்புகள் அல்லது சுருக்க விகிதங்களுக்கும் நேரடியாகப் பொருத்தக்கூடாது.

## கட்டுரையில் மேற்கோளிடப்பட்ட உசாத்துணைகள்

## 

இந்தப் பதிவுகள் ஆய்வுக்கட்டுரையின் PDF-இல் எண்களிடப்பட்ட References பகுதிக்கு ஒத்திருக்கின்றன.

1. Subham Sekhar Sahoo, Marianne Arriola, Yair Schiff, Aaron Gokaslan, Edgar Marroquin, Justin T Chiu, Alexander Rush, Volodymyr Kuleshov. 2024 . [Simple and Effective Masked Diffusion Language Models](https://arxiv.org/abs/2406.07524) . Advances in Neural Information Processing Systems .
2. Aaron van den Oord, Oriol Vinyals, Koray Kavukcuoglu. 2017 . [Neural Discrete Representation Learning](https://arxiv.org/abs/1711.00937) . Advances in Neural Information Processing Systems .
3. Ali Razavi, Aaron van den Oord, Oriol Vinyals. 2019 . [Generating Diverse High-Fidelity Images with VQ-VAE-2](https://arxiv.org/abs/1906.00446) . Advances in Neural Information Processing Systems .
4. Jacob Austin, Daniel D. Johnson, Jonathan Ho, Daniel Tarlow, Rianne van den Berg. 2021 . [Structured Denoising Diffusion Models in Discrete State-Spaces](https://arxiv.org/abs/2107.03006) . Advances in Neural Information Processing Systems .
5. Aaron Lou, Chenlin Meng, Stefano Ermon. 2024 . [Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution](https://arxiv.org/abs/2310.16834) . Proceedings of the 41st International Conference on Machine Learning .
6. Xiaochuang Han, Sachin Kumar, Yulia Tsvetkov. 2023 . [SSD-LM: Semi-autoregressive Simplex-based Diffusion Language Model for Text Generation and Modular Control](https://doi.org/10.18653/v1/2023.acl-long.647) . Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics .
7. Xiang Lisa Li, John Thickstun, Ishaan Gulrajani, Percy Liang, Tatsunori B. Hashimoto. 2022 . [Diffusion-LM Improves Controllable Text Generation](https://arxiv.org/abs/2205.14217) . Advances in Neural Information Processing Systems .
8. Huiwen Chang, Han Zhang, Lu Jiang, Ce Liu, William T. Freeman. 2022 . [MaskGIT: Masked Generative Image Transformer](https://openaccess.thecvf.com/content/CVPR2022/html/Chang_MaskGIT_Masked_Generative_Image_Transformer_CVPR_2022_paper.html) . Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition .
9. Marjan Ghazvininejad, Omer Levy, Yinhan Liu, Luke Zettlemoyer. 2019 . [Mask-Predict: Parallel Decoding of Conditional Masked Language Models](https://doi.org/10.18653/v1/D19-1633) . Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing .
10. Emiel Hoogeboom, Didrik Nielsen, Priyank Jaini, Patrick Forré, Max Welling. 2021 . [Argmax Flows and Multinomial Diffusion: Learning Categorical Distributions](https://arxiv.org/abs/2102.05379) . Advances in Neural Information Processing Systems .
11. Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever. 2019 . [Language Models are Unsupervised Multitask Learners](https://cdn.openai.com/better-language-models/language-models.pdf) . OpenAI Technical Report .
12. Nils Reimers, Iryna Gurevych. 2019 . [Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks](https://doi.org/10.18653/v1/D19-1410) . Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing .
13. Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, Yoav Artzi. 2020 . [BERTScore: Evaluating Text Generation with BERT](https://arxiv.org/abs/1904.09675) . International Conference on Learning Representations .
14. Krishna Pillutla, Swabha Swayamdipta, Rowan Zellers, John Thickstun, Sean Welleck, Yejin Choi, Zaid Harchaoui. 2021 . [MAUVE: Measuring the Gap Between Neural Text and Human Text using Divergence Frontiers](https://arxiv.org/abs/2102.01454) . Advances in Neural Information Processing Systems .
15. Lianmin Zheng, Wei-Lin Chiang, Ying Sheng, Siyuan Zhuang, Zhanghao Wu, Yonghao Zhuang, Zi Lin, Zhuohan Li, Dacheng Li, Eric P. Xing, Hao Zhang, Joseph E. Gonzalez, Ion Stoica. 2023 . [Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena](https://arxiv.org/abs/2306.05685) . Advances in Neural Information Processing Systems, Datasets and Benchmarks Track .

## வளங்களும் மறுஉருவாக்கத்தன்மையும்

## 

### தரவுக் கூற்று

## பதிப்புகள்

## 

1. **வெளியிடப்பட்ட பதிப்பு** [IEEE / FRUCT, 2026](https://doi.org/10.23919/FRUCT70069.2026.11506553)
2. **arXiv பதிவு** [முன்பதிப்பு பதிவைத் திறக்கவும், arXiv:2607.24176](https://arxiv.org/abs/2607.24176)
3. **AI ஆய்வுக் குறியீடு** [சரிபார்க்கப்பட்ட முதல் ஆசிரியர் அடையாளமும் இணைக்கப்பட்ட முடிவுச் சுருக்கமும் கொண்ட Hugging Face ஆய்வுக்கட்டுரைப் பக்கம்](https://huggingface.co/papers/2607.24176)
4. **ஆசிரியர் கையெழுத்துப்படி** [உரையாக அணுகக்கூடிய உள்ளூர் PDF](https://aogavrilov.com/publications/where-quality-breaks/paper.pdf)
5. **மாநாட்டு உரை** [FRUCT 39 விளக்கவுரை](https://www.youtube.com/watch?v=JExX7cxa63s)
6. **மாநாட்டு ஆய்வுத்தொகுப்புக் குறியீடு** [அதிகாரப்பூர்வ FRUCT 39 தொகுதி](https://fruct.org/publications/volume-39/fruct39)
7. **மாநாட்டு ஆய்வுத்தொகுப்பு PDF** [FRUCT திறந்த முழு உரை](https://www.fruct.org/files/publications/volume-39/fruct39/Gav.pdf)
8. **ஆய்வியல் பதிவைத் திறக்கவும்** [OpenAlex](https://openalex.org/W7160914887)
9. **மேற்கோள் வரைபடப் பதிவு** [Semantic Scholar](https://www.semanticscholar.org/paper/11b5a0e8f75f0dfd141659e9a82ac58982a65ce1)
10. **ஆசிரியர் பகிர்ந்த முழு உரை** [ResearchGate](https://www.researchgate.net/publication/404794122_Where_Quality_Breaks_in_Compressed_Short-Text_Generation_Staged_Bottleneck_Localization)

வெளியிடப்பட்ட DOI முதன்மை நூற்பதிவு அடையாளமாகும். பதிப்புகள் அனைத்திலும் இந்தப் பக்கமே ஒரே அதிகாரப்பூர்வத் திட்ட URL ஆக நீடிக்கிறது.

## தொடர்புடைய வெளியீடு

- [Inspectable Control for Structure-Preserving Software Regeneration](https://aogavrilov.com/ta/publications/inspectable-control/)

இதனைப் படிக்கவும்: [கோடெக் இடர்ப்புள்ளி நோயறிதல்](https://aogavrilov.com/ta/projects/codec-bottleneck-diagnosis/) ஆராய்ச்சி வழிகாட்டி. [ஆசிரியரைப் பற்றி](https://aogavrilov.com/about/) .

### குவிமைய ஆய்வுக் குறிப்புகள்

சான்றுகளின் எல்லைகளையும் இவ்வாய்வுக்கட்டுரைக்கான பின்னிணைப்புகளையும் கொண்ட, நோக்கத்திற்கேற்ற பதில்கள்.

- [குறியீட்டு வெளி–டோக்கன் வெளி முகமூடி விரவல்: எவ்வாறு ஒப்பிடுவது?](https://aogavrilov.com/ta/research-notes/code-space-vs-token-space-masked-diffusion/)