# कोड-स्थान बनाम टोकन-स्थान मास्कित विसरण: उनकी तुलना कैसे करें

Canonical HTML: https://aogavrilov.com/hi/research-notes/code-space-vs-token-space-masked-diffusion/

Document language: hi

शोध टिप्पणी

हानिपूर्ण विविक्त कोडेक की स्थिति में कोड-स्थान और टोकन-स्थान के मास्कित विसरण भाषा मॉडलों की तुलना के लिए चरण-संगत प्रोटोकॉल।

प्रकाशित 30 जुलाई 2026 [Alexey Gavrilov](https://aogavrilov.com/about/)

सीधा उत्तर

## कोड-स्थान और टोकन-स्थान के मास्कित विसरण भाषा मॉडलन की तुलना कैसे की जानी चाहिए?

स्रोत पाठ, कोडेक पुनर्निर्माण, टोकन-स्पेस आउटपुट और डीकोड किए गए कोड-स्पेस आउटपुट का मूल्यांकन समान बाहरी स्कोरर और प्रीप्रोसेसिंग से करें। कोडेक पुनर्निर्माण अंतर को अलग से रिपोर्ट करें: कोड-स्पेस जनरेशन उस जानकारी को पुनः प्राप्त नहीं कर सकता जिसे कोडेक पहले ही हटा चुका है।

## यह भेद महत्त्वपूर्ण क्यों है

विधि और दावाकृत गारंटी के लिए समान प्रेक्षणीय सीमा आवश्यक है।

token-space model सीधे text tokens जनित करता है। code-space model पहले विविक्त अव्यक्त codes जनित करता है और फिर पाठ पुनः प्राप्त करने के लिए decoder पर निर्भर रहता है। उनके अंतिम outputs की तुलना की जा सकती है, किंतु code-space pipeline में विफलता का एक अतिरिक्त बिंदु है: अव्यक्त जनन आरंभ होने से पहले ही पुनर्निर्माण हानि गुणवत्ता की अधिकतम सीमा घटा सकती है।

अतः निष्पक्ष तुलना में एक नहीं, दो प्रश्न आवश्यक हैं। पहले पूछें कि बिना किसी जनन के कोडेक कितनी गुणवत्ता संरक्षित रखता है। फिर पूछें कि एक ही अपरिवर्तित decoded-text evaluation protocol में प्रत्येक generator कितनी अतिरिक्त हानि उत्पन्न करता है।

## एक व्यावहारिक प्रक्रिया

1. स्रोत बेसलाइन स्थापित करें अलग रखे गए स्रोत पाठों को उसी मूल्यांकक और पूर्वप्रक्रमण से स्कोर करें जिनका उपयोग प्रत्येक बाद के चरण में किया जाएगा।
2. जनन से पहले पुनर्निर्माण का मापन करें नए कोड सैंपल किए बिना उन्हीं उदाहरणों को एनकोड और डीकोड करें। इससे कोडेक द्वारा निर्धारित अधिकतम सीमा अलग से स्पष्ट होती है।
3. डीकोडिंग के बाद दोनों जनरेशन स्पेस का मूल्यांकन करें टोकन-स्थान के नमूनों का सीधे मूल्यांकन करें और कोड-स्थान के नमूनों को मूल्यांकन से पहले डिकोड करें। किसी अव्यक्त प्रतिनिधि माप की तुलना डिकोड किए गए पाठ के मापदंड से न करें।
4. वितरण और अनिश्चितता रिपोर्ट करें माध्यिका और पुच्छ व्यवहार, नमूना संख्याएँ, पूर्वप्रक्रमण तथा बारंबार चलाने से जुड़ी अनिश्चितता दिखाएँ। एक अकेला औसत गंभीर पुनर्निर्माण विफलताओं को छिपा सकता है।

## आवश्यक साक्ष्य

किसी दावे की प्रबलता जनन या डिकोडिंग के बाद मापे गए गुण से ही निर्धारित होती है।

- प्रत्येक जाँच-बिंदु पर समान बाहरी डिकोड-पाठ मूल्यांकक और पूर्वप्रक्रमण का उपयोग किया जाता है।
- स्रोत, पुनर्निर्माण, टोकन-स्थान और डिकोड किए गए कोड-स्थान के परिणाम अलग-अलग प्रस्तुत किए गए हैं।
- कोडेक पुनर्निर्माण अंतर को अव्यक्त जनक के कारण नहीं माना गया है।
- किसी भी माध्य तुलना के साथ माध्यिका और पुच्छ-व्यवहार भी प्रस्तुत करें।
- छोटे अंतरों का सामान्यीकरण करने से पहले सीड अथवा अनिश्चितता के अनुमान प्रस्तुत किए जाते हैं।

### लिंक किया गया अध्ययन क्या बताता है

- रिपोर्ट किए गए 64-to-16 TinyStories विन्यास में अकेले कोडेक पुनर्निर्माण ने बाह्य माध्यिका परप्लेक्सिटी को 15.17 से बढ़ाकर 27.36 कर दिया।
- उसी स्कोरर के अंतर्गत कोड-स्थान MDLM ने 26.55 की माध्यिका परप्लेक्सिटी प्राप्त की, जबकि टोकन-स्थान बेसलाइन 38.42 पर रही; उस प्रयोग में कोड-स्थान जनन के लिए यह 30.9% की कमी थी।
- उपलब्ध सुमेलित रनों में ज्यामिति-सजग रेग्युलराइज़ेशन ने स्थानीय लेटेंट निदानों में सुधार किया, पर डीकोड किए गए पाठ के मेट्रिक्स में सुधार नहीं हुआ।

[प्रकाशन का अवलोकन पढ़ें](https://aogavrilov.com/hi/publications/where-quality-breaks/) [शोधपत्र के पूर्ण पाठ में खोजें](https://aogavrilov.com/publications/where-quality-breaks/full-text/)

## दायरे की सीमा

- ये संख्याएँ TinyStories की एक संपीड़न व्यवस्था, एक पदानुक्रमित कोडेक और वर्णित मूल्यांकन विन्यास को दर्शाती हैं; वे कोड-स्थान और टोकन-स्थान मॉडलों का कोई सार्वभौमिक क्रम स्थापित नहीं करतीं।
- Perplexity जानकारीपूर्ण है, किंतु अर्थगत गुणवत्ता, विविधता, तथ्यपरकता अथवा उपयोगिता का पूर्ण माप नहीं है।
- उपलब्ध तुलनाओं को उनके उल्लिखित नमूना आकारों और अनिश्चितता-संबंधी सीमाओं के साथ पढ़ा जाना चाहिए।

## प्राथमिक और निकटवर्ती स्रोत

मूल विधियों, मापों और बताई गई सीमाओं के लिए लिंक किए गए शोधपत्र देखें।

1. [Where Quality Breaks in Compressed Short-Text Generation](https://aogavrilov.com/hi/publications/where-quality-breaks/) प्रमुख शोधपत्र और उसमें प्रस्तुत चरणवार मापन।
2. [Simple and Effective Masked Diffusion Language Models](https://arxiv.org/abs/2406.07524) अव्यक्त जनित्र द्वारा प्रयुक्त मुखौटित विविक्त विसरण का सूत्रीकरण।
3. [Neural Discrete Representation Learning](https://arxiv.org/abs/1711.00937) अधिगमित डिस्क्रीट निरूपण की आधारभूत विधि।

अनुरक्षणकर्ता Alexey Gavrilov । यह page मौजूदा साक्ष्य का सार प्रस्तुत करता है और उद्धृत स्रोतों से परे कोई प्रयोगात्मक परिणाम नहीं जोड़ता।