# संपीडित मजकूर जनित्रातील अपयश कोडेकमध्ये आहे की जनित्रात, हे कसे ठरवावे

Canonical HTML: https://aogavrilov.com/mr/projects/codec-bottleneck-diagnosis/

Document language: mr

प्रथम मजकूर विविक्त संकेतांकांत संपीडित करून नंतर संकेतांक-अवकाशात निर्मिती करणाऱ्या द्वि-टप्पी प्रणालींसाठी व्यावहारिक निदान. चुकीच्या घटकावर संगणकीय संसाधने खर्च करण्यापूर्वी विसंकेतित निष्पत्तीवर कोणता टप्पा मर्यादा आणतो हे ओळखणे हा उद्देश आहे.

प्रकाशित 29 जुलै 2026 अद्ययावत 30 जुलै 2026 [Alexey Gavrilov](https://aogavrilov.com/about/)

## थोडक्यात उत्तर

मूळ मजकूर, त्याची जोडीतली कोडेक पुनर्रचना आणि अंतिम निर्मित मजकूर यांचे एकाच बाह्य मूल्यमापकाने गुणांकन करा. मूळ मजकूर ते पुनर्रचना यांतील अंतर निर्मितीपूर्वी लादलेली गुणवत्तेची कमाल मर्यादा मोजते. त्यानंतर पुनर्रचना ते निर्मिती यांतील अंतर सुप्त निर्मितकामुळे झालेली अतिरिक्त गुणवत्ता-घसरण स्वतंत्रपणे दर्शवते.

**विसंकेतित निष्पत्तीऐवजी सुप्त-अवकाशातील प्रतिनिधी माप वापरू नका.** संकेतांक-पुस्तकाची अधिक चांगली भूमिती, वापर किंवा आधार निदानासाठी उपयुक्त ठरू शकतात; परंतु संबंधित अंतिम मापनांनुसार विसंकेतित मजकूर सुधारला तरच त्यांमधून गुणवत्तेतील सुधारणा सिद्ध होते.

## चार तपासणी-बिंदूंचे निदान

1. संदर्भ प्रस्थापित करा पुढील सर्व टप्प्यांसाठी वापरल्या जाणाऱ्या बाह्य मूल्यमापकाने राखून ठेवलेल्या मूळ मजकुरांचे गुणांकन करा.
2. कोडेक पुनर्रचनेचे मापन करा निर्मिती न करता त्याच उदाहरणांचे संकेतन आणि विसंकेतन करा. यामुळे अरुंदमार्गावर गमावलेली माहिती उघड होते.
3. सुप्त निर्मितीचे मापन करा संकेत निर्माण करा, त्यांचे विसंकेतन करा आणि अपरिवर्तित मूल्यमापकाने परिणामी मजकुराचे गुणांकन करा.
4. प्रतिनिधी मापनाच्या संक्रमणाचे लेखापरीक्षण करा प्रतिनिधी मापनांतील लाभ पुढेही हस्तांतरित होतात असे गृहीत धरण्याऐवजी सुप्त निदानांची अंतिम विकोडित-मजकूर मापनांशी तुलना करा.

## टप्प्यांमधील तफावतींचा अर्थ कसा लावावा

| निरीक्षित आकृतिबंध | सर्वाधिक संभाव्य अडथळा | पुढील प्रयोग |
| --- | --- | --- |
| मूळ मजकुरांना चांगले गुण मिळतात; पुनर्रचनांची गुणवत्ता तीव्रपणे ढासळते | कोडेकची निष्ठा | जनित्राचे समायोजन करण्यापूर्वी पुनर्रचना सुधारा किंवा संपीडन कमी करा |
| पुनर्रचना सक्षम राहतात; निर्मित आउटपुटची गुणवत्ता खालावते | सुप्त जनित्र | विरवकरण, नमुनाकरण, अनुबंधन आणि कोड-वितरणातील विसंगती तपासा |
| सुप्त प्रतिनिधी मापके सुधारतात; विकोडित मापके स्थिर राहतात | प्रतिनिधी-मापनाचे हस्तांतरण | प्रतिनिधी-मापन अपेक्षित पुढील-टप्प्यातील गुणधर्माचा मागोवा घेते का, याचे पुनर्मूल्यांकन करा |
| प्रत्येक टप्प्याचे गुण कमी आहेत | डेटा, मूल्यमापक किंवा प्रायोगिक मांडणी | अपयशाचे कारण मॉडेलला ठरवण्यापूर्वी संदर्भ-वितरण आणि गुणदाता प्रमाणित करा |

## प्रकाशित TinyStories प्रकरण-अभ्यासात काय आढळले

मध्ये [*संपीडित लघु-मजकूर निर्मितीत गुणवत्ता कुठे ढासळते: टप्प्याटप्प्याने अडथळा-स्थाननिश्चिती*](https://aogavrilov.com/mr/publications/where-quality-breaks/) , श्रेणीबद्ध VQ-VAE-2 वापरून 64-टोकन मजकूर 16 उच्च-स्तरीय संकेतांकांत संपीडित केले जातात. एका बाह्य GPT-2 गुणनिर्धारकानुसार, मध्यक संभ्रमितता येथून वाढते: **15.17** मूळ मजकुरांसाठी येथपर्यंत **27.36** कोडेक पुनर्रचनांसाठी, तर p95 येथून वाढते **25.10** ते **98.91** .

### कोड-अवकाश विरुद्ध टोकन-अवकाश मुखवटित प्रसरण भाषा प्रतिमानन

चाचणी केलेल्या वाहिनीत पुनर्रचनेतील तफावत प्रबळ आहे. त्या कमाल मर्यादेतही, सामायिक गुणांककानुसार कोड-अवकाशातील मुखवटित प्रसरण भाषा प्रतिमानन (MDLM) टोकन-अवकाश MDLM पेक्षा चांगली कामगिरी करते: मध्यक गोंधळमान आहे **26.55** विरुद्ध **38.42** , म्हणजे 30.9% घट.

भूमिती-जागरूक नियमितीकरण उपलब्ध जुळवलेल्या प्रयोगांतील स्थानिक सुप्त प्रतिनिधी मापे सुधारते; परंतु विसंकेतित मजकुराची मेट्रिक्स सुधारत नाही. हा नकारात्मक संक्रमण-निष्कर्ष निदानाचा भाग आहे; नियमितीकारकाने अंतिम मजकूर सुधारल्याचा तो पुरावा नाही.

## प्रत्येक टप्प्यावर काय मोजावे

## ही मार्गदर्शिका ज्या संशोधन प्रश्नांची उत्तरे देते

ही संक्षिप्त उत्तरे नेहमीचे निदानात्मक प्रश्न टप्प्यानुसार मोजलेल्या पुराव्याशी जोडतात.

1. नोंदवलेल्या मजकूर प्रयोगात कोड-अवकाश आणि टोकन-अवकाशातील मुखवटित विसरण यांची तुलना कशी झाली? त्याच बाह्य गुणदात्याखाली कोड-अवकाश MDLM ची मध्यक संदिग्धता 26.55 होती, तर टोकन-अवकाश आधाररेषेची 38.42; म्हणजे 30.9% घट. कोडेक पुनर्रचनेचा मध्यक आधीच 27.36 होता, त्यामुळे पुनर्रचना अडथळ्याच्या संदर्भातच या निकालाचा अर्थ लावला पाहिजे. [नोंदवलेल्या टप्पानिहाय संख्यांचे निरीक्षण करा](https://aogavrilov.com/mr/projects/codec-bottleneck-diagnosis/#code-space-vs-token-space) .
2. कोडेक हानिकारक असताना कोड-अवकाश आणि टोकन-अवकाशातील मुखवटित विसरण यांची तुलना कशी करावी? मूळ मजकूर, कोडेक पुनर्रचना, टोकन-अवकाश निष्पत्ती आणि कोड-अवकाश निष्पत्ती यांसाठी तेच राखीव नमुने व विकोडित-मजकूर गुणदाता वापरा. पुनर्रचनेतील अंतर स्वतंत्रपणे नोंदवा, कारण अधिक सक्षम सुप्त जनित्रही कोडेकने आधीच काढून टाकलेली माहिती परत मिळवू शकत नाही. [एका गुणांकनकर्त्याखाली टप्प्यांची तुलना करा](https://aogavrilov.com/mr/projects/codec-bottleneck-diagnosis/#code-space-vs-token-space) .
3. द्वि-टप्पीय मजकूर जनित्रातील गुणवत्तेच्या हानीचे निदान कसे करता येईल? एकाच, अपरिवर्तित विकोडित-मजकूर मूल्यमापकाखाली प्रथम मूळ मजकूर ते पुनर्रचना यांतील अंतर आणि त्यानंतर पुनर्रचना ते निर्मिती यांतील अंतर मोजा. त्यामुळे कोडेकने घातलेली गुणवत्तेची कमाल मर्यादा आणि सुप्त निर्मितीमुळे उद्भवलेली अतिरिक्त अवनती वेगळी ओळखता येते. [चार तपासणी-बिंदूंच्या निदानाचे अनुसरण करा](https://aogavrilov.com/mr/projects/codec-bottleneck-diagnosis/#workflow) .
4. सुप्त-अवकाशाची अधिक चांगली मापके विकोडित निष्पत्ती सुधारण्यात केव्हा अपयशी ठरू शकतात? पुढील टप्प्यातील स्वारस्यपूर्ण गुणधर्माचा मागोवा न घेताही सुप्त प्रतिनिधी मापन सुधारू शकते. जुळणाऱ्या निष्पत्ती विसंकेतित करून आणि त्यांचे त्याच अंतिम मापनांनी मूल्यमापन करून संक्रमण तपासा; अन्यथा संकेतांक-पुस्तकाची भूमिती किंवा वापर हे निदानात्मक पुरावेच राहतात, मजकूर-गुणवत्तेतील सुधारणा नव्हे. [प्रतिनिधी-मापक हस्तांतरण निदान वापरा](https://aogavrilov.com/mr/projects/codec-bottleneck-diagnosis/#decision-table) .

## निदानातील सामान्य चुका

### केवळ अंतिम निष्पन्नांची तुलना करणे

टोकापासून टोकापर्यंतचा गुण हानीचे कारण निरूपण होते की जनक, हे सांगू शकत नाही.

### टप्प्यांदरम्यान गुणांकनकर्ते बदलणे

वेगवेगळे मूल्यमापक वापरल्यामुळे टप्प्यांतील तफावतांची परस्पर तुलना करता येत नाही आणि कारणात्मक श्रेयांकन कमकुवत होते.

### कोडबुकच्या सुस्थितीला ‘मजकूर गुणवत्ता’ म्हणणे

समाधानकारक वापरासोबत निकृष्ट पुनर्रचना किंवा निकृष्ट विसंकेतित निर्मिती अस्तित्वात असू शकतात.

### एका संक्षेपण पद्धतीचे सामान्यीकरण

प्रकाशित पुरावा एका TinyStories 64-to-16 संरचनेपुरता आणि वर्णनात्मक एकल धावांपुरता आहे.

## प्राथमिक पार्श्वभूमी

हे स्रोत निदानात्मक अभ्यासात संदर्भित डेटासंच आणि मॉडेल-कुले निश्चित करतात.

1. [न्यूरल विविक्त निरूपण अधिगम](https://arxiv.org/abs/1711.00937) VQ-VAE आणि नंतरच्या सुप्त जनित्रांनी वापरलेल्या शिकवलेल्या वियुक्त अडथळ्याची ओळख करून देते.
2. [Generating Diverse High-Fidelity Images with VQ-VAE-2](https://arxiv.org/abs/1906.00446) स्वतंत्र कोड-स्तरांसह श्रेणीबद्ध विविक्त निरूपण विकसित करते.
3. [TinyStories: भाषा मॉडेल किती लहान असूनही सुसंगत इंग्रजी बोलू शकते?](https://arxiv.org/abs/2305.07759) निदानात्मक प्रकरण-अभ्यासात वापरलेल्या कृत्रिम लघुकथा-संग्रहाची ओळख करून देते.
4. [Simple and Effective Masked Diffusion Language Models](https://arxiv.org/abs/2406.07524) सुप्त निर्मितकासाठी वापरलेली मुखवटित विविक्त प्रसरणाची सूत्ररचना प्रस्तुत करते.

## पुराव्याची सीमा

टप्प्याटप्प्याची पद्धत पुन्हा वापरता येते; मात्र नोंदवलेली क्रमवारी सार्वत्रिक नाही. प्रकाशित प्रयोगात TinyStories, एक तीव्र संपीडन व्यवस्था, एक श्रेणीबद्ध कोडेक कुल, एक मुखवटित विविक्त जनित्र आणि प्रत्येकी एकच वर्णनात्मक धाव वापरली आहे. नव्या प्रणालीवर निदान कार्यपद्धती लागू करा; संख्यात्मक निष्कर्ष दुसऱ्या परिस्थितीत जशाचा तसा नेऊ नका.

## संबंधित प्रकाशने

### [Where Quality Breaks in Compressed Short-Text Generation: Staged Bottleneck Localization](https://aogavrilov.com/mr/publications/where-quality-breaks/)

संपीडित लघु-मजकूर निर्मितीत गुणवत्ता कुठे ढासळते: टप्प्याटप्प्याने अडथळ्याचे स्थाननिर्धारण

निदान पद्धतिशास्त्र FRUCT 39 2026 मुख्य परिषद

### [Inspectable Control for Structure-Preserving Software Regeneration](https://aogavrilov.com/mr/publications/inspectable-control/)

संरचना-संरक्षक सॉफ्टवेअर पुनर्निर्मितीसाठी तपासता येणारे नियंत्रण

सुप्त-अवकाश नियंत्रण पद्धत FSE Companion '26 2026 पूरक पोस्टर