# कैसे निर्धारित करें कि संपीड़ित पाठ जनित्र की विफलता कोडेक में है या जनित्र में

Canonical HTML: https://aogavrilov.com/hi/projects/codec-bottleneck-diagnosis/

Document language: hi

उन द्विचरणीय systems के लिए व्यावहारिक निदान जो पहले पाठ को विविक्त codes में संपीडित करते हैं और फिर code space में जनन करते हैं। लक्ष्य यह पहचानना है कि decoded output को कौन-सा चरण सीमित करता है, ताकि गलत component पर compute व्यय न हो।

प्रकाशित 29 जुलाई 2026 अद्यतन 30 जुलाई 2026 [Alexey Gavrilov](https://aogavrilov.com/about/)

## संक्षिप्त उत्तर

मूल पाठ, उसके युग्मित कोडेक पुनर्निर्माण और अंतिम जनित पाठ को एक ही बाहरी मूल्यांकक से स्कोर करें। मूल से पुनर्निर्माण तक का अंतर जनन से पहले आरोपित गुणवत्ता-सीमा को मापता है। इसके बाद पुनर्निर्माण से जनन तक का अंतर अव्यक्त जनक द्वारा उत्पन्न अतिरिक्त गुणवत्ता-ह्रास को पृथक करता है।

**डीकोड किए गए आउटपुट के स्थान पर लेटेंट स्पेस प्रॉक्सी का उपयोग न करें।** बेहतर codebook geometry, utilization या support उपयोगी नैदानिक संकेत हो सकते हैं, किंतु वे गुणवत्ता-सुधार तभी स्थापित करते हैं जब प्रासंगिक अंतिम metrics पर decoded पाठ भी सुधरे।

## चार-checkpoint निदान

1. संदर्भ स्थापित करें अलग रखे गए मूल पाठों को उसी बाहरी मूल्यांकक से स्कोर करें जिसका उपयोग बाद के सभी चरणों में किया गया है।
2. कोडेक पुनर्निर्माण का मापन करें बिना जनरेशन के उन्हीं उदाहरणों को एनकोड और डीकोड करें। इससे बॉटलनेक पर नष्ट हुई जानकारी सामने आती है।
3. अव्यक्त जनन का मापन करें कोड जनरेट करें, उन्हें डीकोड करें और परिणामी पाठ को अपरिवर्तित मूल्यांकनकर्ता से स्कोर करें।
4. proxy transfer का audit करें यह मान लेने के बजाय कि प्रतिनिधि मापों में लाभ आगे भी बना रहेगा, अव्यक्त निदान की तुलना अंतिम डिकोडित-पाठ मेट्रिक्स से करें।

## चरणों के बीच के अंतर की व्याख्या कैसे करें

| प्रेक्षित प्रतिरूप | सर्वाधिक संभावित बाधा-बिंदु | अगला प्रयोग |
| --- | --- | --- |
| मूल पाठों के स्कोर अच्छे हैं; पुनर्निर्माण में तीव्र ह्रास होता है | कोडेक निष्ठा | जनित्र को ट्यून करने से पहले पुनर्निर्माण सुधारें या संपीड़न घटाएँ |
| पुनर्निर्माण सुदृढ़ बने रहते हैं; जनित आउटपुट की गुणवत्ता घटती है | गुप्त जनित्र | विरवणन, नमूनाकरण, अनुबंधन और कोड-वितरण असंगति का निरीक्षण करें |
| गुप्त प्रतिनिधि माप सुधरते हैं; डिकोडित मेट्रिक स्थिर रहते हैं | प्रतिनिधि-संकेत अंतरण | पुनर्मूल्यांकन करें कि प्रतिनिधि-संकेत लक्षित अनुप्रवाही गुण को वास्तव में दर्शाता है या नहीं |
| हर चरण का स्कोर खराब है | डेटा, मूल्यांकनकर्ता अथवा प्रायोगिक व्यवस्था | मॉडल की विफलता निर्धारित करने से पहले संदर्भ वितरण और स्कोरर को सत्यापित करें |

## प्रकाशित TinyStories प्रकरण अध्ययन में क्या पाया गया

में [*संपीड़ित लघु-पाठ जनन में गुणवत्ता कहाँ घटती है: चरणबद्ध बाधा-स्थानीकरण*](https://aogavrilov.com/hi/publications/where-quality-breaks/) , पदानुक्रमित VQ-VAE-2 द्वारा 64-token पाठों को 16 शीर्ष-स्तरीय कोडों में संपीडित किया जाता है। एक बाहरी GPT-2 स्कोरर के अंतर्गत माध्यिका perplexity बढ़ती है **15.17** मूल पाठों के लिए, से **27.36** कोडेक पुनर्निर्माणों के लिए, जबकि p95 इससे बढ़ता है **25.10** तक **98.91** .

### कोड-स्थान बनाम टोकन-स्थान मास्कित विसरण भाषा मॉडलिंग

परीक्षित पाइपलाइन में पुनर्निर्माण अंतर प्रमुख है। उस सीमा के भीतर, साझा मूल्यांकक के अधीन कोड-स्थान मास्कित विसरण भाषा मॉडलिंग (MDLM), टोकन-स्थान MDLM से फिर भी बेहतर प्रदर्शन करती है: माध्यिका परप्लेक्सिटी है **26.55** की तुलना में **38.42** , अर्थात 30.9% की कमी।

उपलब्ध सुमेलित रनों में ज्यामिति-सजग रेग्युलराइज़ेशन स्थानीय लेटेंट प्रॉक्सी को बेहतर करता है, किंतु डीकोड किए गए पाठ के मेट्रिक्स को नहीं। यह नकारात्मक ट्रांसफ़र परिणाम निदान का हिस्सा है; इसे इस बात का साक्ष्य नहीं माना जा सकता कि रेग्युलराइज़र ने अंतिम पाठ सुधारा।

## प्रत्येक चरण में क्या मापें

## वे शोध प्रश्न जिनका उत्तर यह मार्गदर्शिका देती है

ये संक्षिप्त उत्तर सामान्य नैदानिक प्रश्नों को चरणवार मापे गए साक्ष्य से जोड़ते हैं।

1. रिपोर्ट किए गए पाठ प्रयोग में कोड-स्थान और टोकन-स्थान के मास्कित विसरण की तुलना कैसी रही? उसी बाहरी स्कोरर के अंतर्गत कोड-स्थान MDLM की माध्यिका परप्लेक्सिटी 26.55 थी, जबकि टोकन-स्थान बेसलाइन की 38.42—अर्थात 30.9% कमी। कोडेक पुनर्निर्माण की माध्यिका पहले ही 27.36 थी, इसलिए परिणाम की व्याख्या पुनर्निर्माण अवरोध के साथ करनी चाहिए। [रिपोर्ट किए गए चरणवार आँकड़ों का निरीक्षण करें](https://aogavrilov.com/hi/projects/codec-bottleneck-diagnosis/#code-space-vs-token-space) .
2. कोडेक के हानिपूर्ण होने पर कोड-स्थान और टोकन-स्थान के मास्कित विसरण की तुलना कैसे की जानी चाहिए? मूल पाठ, कोडेक पुनर्निर्माण, टोकन-स्थान आउटपुट और कोड-स्थान आउटपुट के लिए वही पृथक रखे गए नमूने तथा डिकोड-पाठ स्कोरर प्रयोग करें। पुनर्निर्माण अंतर अलग बताएँ, क्योंकि अधिक सक्षम अव्यक्त जनित्र भी कोडेक द्वारा पहले ही हटाई गई सूचना पुनः प्राप्त नहीं कर सकता। [एक ही स्कोरर के अंतर्गत चरणों की तुलना करें](https://aogavrilov.com/hi/projects/codec-bottleneck-diagnosis/#code-space-vs-token-space) .
3. दो-चरणीय पाठ जनित्र में गुणवत्ता हानि का निदान कैसे किया जा सकता है? एक ही अपरिवर्तित डिकोडेड-पाठ मूल्यांकक के अंतर्गत, पुनर्निर्माण-से-जनन अंतराल से पहले मूल-से-पुनर्निर्माण अंतराल मापें। इससे कोडेक द्वारा आरोपित गुणवत्ता-सीमा, अव्यक्त जनन से उत्पन्न अतिरिक्त ह्रास से अलग हो जाती है। [चार-जाँच-बिंदु निदान का पालन करें](https://aogavrilov.com/hi/projects/codec-bottleneck-diagnosis/#workflow) .
4. बेहतर अव्यक्त-स्थान मेट्रिक्स कब डिकोड किए गए आउटपुट को सुधारने में विफल हो सकते हैं? रुचि के downstream गुण को अनुगमित किए बिना भी कोई अव्यक्त proxy सुधर सकता है। सुमेलित outputs को decode करके और समान अंतिम metrics से उनका मूल्यांकन करके transfer की जाँच करें; अन्यथा codebook geometry या utilization केवल नैदानिक साक्ष्य रहता है, पाठ-गुणवत्ता में वृद्धि नहीं। [प्रॉक्सी-अंतरण निदान अपनाएँ](https://aogavrilov.com/hi/projects/codec-bottleneck-diagnosis/#decision-table) .

## निदान में होने वाली सामान्य त्रुटियाँ

### केवल अंतिम निर्गमों की तुलना करना

end-to-end score यह नहीं बता सकता कि हानि निरूपण के कारण हुई या generator के कारण।

### चरणों के बीच स्कोरर बदलना

अलग-अलग मूल्यांकनकर्ता चरणों के बीच के अंतर को अतुलनीय बना देते हैं और कारणात्मक आरोपण को कमजोर करते हैं।

### कोडबुक की सुदृढ़ता को “पाठ गुणवत्ता” कहना

स्वस्थ उपयोग के साथ भी खराब पुनर्निर्माण या खराब डीकोडेड जनरेशन मौजूद हो सकते हैं।

### एक संपीड़न व्यवस्था का सामान्यीकरण

प्रकाशित साक्ष्य एक TinyStories 64-से-16 विन्यास और वर्णनात्मक एकल रनों तक सीमित है।

## प्राथमिक पृष्ठभूमि

ये स्रोत नैदानिक अध्ययन में संदर्भित डेटासेट और मॉडल परिवारों को परिभाषित करते हैं।

1. [Neural Discrete Representation Learning](https://arxiv.org/abs/1711.00937) VQ-VAE और बाद के गुप्त जनित्रों द्वारा प्रयुक्त अधिगमित विविक्त बाधा-बिंदु का परिचय देता है।
2. [VQ-VAE-2 से विविध उच्च-विश्वसनीयता वाली छवियाँ जनरेट करना](https://arxiv.org/abs/1906.00446) पृथक कोड-स्तरों वाला पदानुक्रमित विविक्त निरूपण विकसित करता है।
3. [TinyStories: भाषा मॉडल कितने छोटे होकर भी सुसंगत अंग्रेज़ी बोल सकते हैं?](https://arxiv.org/abs/2305.07759) नैदानिक प्रकरण-अध्ययन में प्रयुक्त कृत्रिम लघुकथा कॉर्पस का परिचय देता है।
4. [Simple and Effective Masked Diffusion Language Models](https://arxiv.org/abs/2406.07524) अव्यक्त जनक में प्रयुक्त मास्कित विविक्त विसरण का सूत्रीकरण प्रस्तुत करता है।

## साक्ष्य सीमा

चरणबद्ध विधि का पुनः उपयोग किया जा सकता है, किंतु बताई गई वरीयता सार्वभौमिक नहीं है। प्रकाशित प्रयोग में TinyStories, एक तीव्र संपीड़न व्यवस्था, एक पदानुक्रमित कोडेक परिवार, एक मुखौटित विविक्त जनित्र और वर्णनात्मक एकल रन प्रयुक्त हुए हैं। किसी नई प्रणाली पर नैदानिक प्रोटोकॉल लागू करें; संख्यात्मक निष्कर्ष को किसी भिन्न परिवेश में ज्यों का त्यों न अपनाएँ।

## संबंधित प्रकाशन

### [Where Quality Breaks in Compressed Short-Text Generation: Staged Bottleneck Localization](https://aogavrilov.com/hi/publications/where-quality-breaks/)

संपीड़ित लघु-पाठ जनन में गुणवत्ता कहाँ घटती है: चरणबद्ध बाधा-स्थानीकरण

निदान-पद्धति FRUCT 39 2026 मुख्य सम्मेलन

### [Inspectable Control for Structure-Preserving Software Regeneration](https://aogavrilov.com/hi/publications/inspectable-control/)

संरचना-संरक्षी सॉफ़्टवेयर पुनर्जनन के लिए निरीक्षणीय नियंत्रण

अव्यक्त-स्थान नियंत्रण विधि FSE Companion '26 2026 सहवर्ती पोस्टर