# پخش نقاب‌دار در فضای کُد در برابر فضای توکن: چگونه مقایسه کنیم؟

Canonical HTML: https://aogavrilov.com/fa/research-notes/code-space-vs-token-space-masked-diffusion/

Document language: fa

یادداشت پژوهشی

پروتکلی برای مقایسهٔ سازگار میان مراحلِ مدل‌های زبانی پخش نقاب‌دار در فضای کُد و فضای توکن، در شرایطی که کُدک گسسته اتلافی است.

منتشرشده 30 ژوئیهٔ 2026 [Alexey Gavrilov](https://aogavrilov.com/about/)

پاسخ مستقیم

## مدل‌سازی زبان با پخش نقاب‌دار در فضای کُد و فضای توکن را چگونه باید مقایسه کرد؟

متن مبدأ، بازسازی‌های کُدک، خروجی‌های فضای توکن و خروجی‌های رمزگشایی‌شدهٔ فضای کد را با همان امتیازدهندهٔ بیرونی و پیش‌پردازش یکسان ارزیابی کنید. شکاف بازسازی کُدک را جداگانه گزارش دهید: تولید در فضای کد نمی‌تواند اطلاعاتی را بازیابی کند که کُدک پیش‌تر حذف کرده است.

## چرا این تمایز اهمیت دارد

سازوکار و تضمین ادعاشده باید بر یک مرز مشاهده‌پذیر واحد ناظر باشند.

مدل فضای توکن، توکن‌های متن را مستقیماً تولید می‌کند. مدل فضای کُد ابتدا کُدهای نهفتهٔ گسسته را می‌سازد و سپس برای بازیابی متن به رمزگشا متکی است. خروجی‌های نهایی آن‌ها مقایسه‌پذیرند، اما خط لولهٔ فضای کُد یک نقطهٔ شکست اضافی دارد: افت بازسازی می‌تواند پیش از آغاز تولید نهفته، سقف کیفیت را پایین بیاورد.

ازاین‌رو، مقایسه‌ای منصفانه به دو پرسش نیاز دارد، نه یکی. نخست بپرسید کُدک بدون هیچ تولیدی چه میزان از کیفیت را حفظ می‌کند. سپس بسنجید هر مولد، تحت یک پروتکل ثابت ارزیابی متن رمزگشایی‌شده، چه میزان افت اضافی پدید می‌آورد.

## رویه‌ای عملی

1. تعیین خط مبنای متن مبدأ متن‌های مبدأِ کنارگذاشته‌شده را با همان ارزیاب و پیش‌پردازشی امتیازدهی کنید که در تمام مراحل بعدی به کار خواهد رفت.
2. بازسازی را پیش از تولید اندازه‌گیری کنید همان نمونه‌ها را بدون نمونه‌گیری کدهای جدید، رمزگذاری و رمزگشایی کنید. بدین‌ترتیب، سقفی که کُدک تحمیل می‌کند به‌طور مستقل سنجیده می‌شود.
3. ارزیابی هر دو فضای تولید پس از رمزگشایی نمونه‌های فضای توکن را مستقیماً امتیازدهی کنید و نمونه‌های فضای کُد را پیش از امتیازدهی رمزگشایی کنید. یک شاخص جانشین در فضای نهفته را با سنجه‌ای برای متن رمزگشایی‌شده مقایسه نکنید.
4. توزیع‌ها و عدم‌قطعیت را گزارش کنید میانه، رفتار دُم توزیع، تعداد نمونه‌ها، پیش‌پردازش و عدم‌قطعیت اجرای تکراری را نشان دهید. یک میانگین می‌تواند شکست‌های شدید بازسازی را پنهان کند.

## شواهد لازم

اعتبار هر ادعا تنها به اندازهٔ ویژگی‌ای است که پس از تولید یا رمزگشایی سنجیده شده است.

- در هر نقطهٔ وارسی، همان ارزیاب بیرونی متن رمزگشایی‌شده و همان پیش‌پردازش به کار می‌روند.
- نتایج منبع، بازسازی، فضای توکن و فضای کُد رمزگشایی‌شده جداگانه گزارش می‌شوند.
- شکاف بازسازی کُدک به مولد نهفته نسبت داده نمی‌شود.
- هر مقایسهٔ میانگین باید با میانه و رفتار دنباله همراه باشد.
- پیش از تعمیم تفاوت‌های کوچک، بذرهای تصادفی یا برآوردهای عدم‌قطعیت گزارش می‌شوند.

### مطالعهٔ پیوندشده چه چیزی گزارش می‌کند

- در پیکربندی گزارش‌شدهٔ 64-به-16 از TinyStories، بازسازی کُدک به‌تنهایی میانهٔ سرگشتگی خارجی را از 15.17 به 27.36 افزایش داد.
- با همان امتیازدهنده، میانهٔ سرگشتگی MDLM در فضای کُد به 26.55 رسید، درحالی‌که این مقدار برای خط پایهٔ فضای توکن 38.42 بود؛ در آن آزمایش، تولید در فضای کُد 30.9% کاهش نشان داد.
- منظم‌سازی آگاه از هندسه، شاخص‌های تشخیصی موضعیِ نهفته را در اجراهای همتاسازی‌شدهٔ موجود بهبود داد، اما معیارهای متن رمزگشایی‌شده را بهتر نکرد.

[مرور کلی انتشار را بخوانید](https://aogavrilov.com/fa/publications/where-quality-breaks/) [جست‌وجو در متن کامل مقاله](https://aogavrilov.com/publications/where-quality-breaks/full-text/)

## مرز دامنه

- این اعداد یک رژیم فشرده‌سازی TinyStories، یک کُدک سلسله‌مراتبی و تنظیمات ارزیابی گزارش‌شده را توصیف می‌کنند؛ از آن‌ها نمی‌توان ترتیب برتری همگانی میان مدل‌های فضای کُد و فضای توکن نتیجه گرفت.
- سرگشتگی اطلاعات سودمندی فراهم می‌کند، اما سنجه‌ای کامل برای کیفیت معنایی، تنوع، صحت واقعیت‌ها یا سودمندی نیست.
- مقایسه‌های موجود باید با توجه به اندازه‌های نمونه و محدودیت‌های عدم‌قطعیتِ بیان‌شده تفسیر شوند.

## منابع اصلی و نزدیک

برای روش‌های اصلی، اندازه‌گیری‌ها و محدودیت‌های تصریح‌شده به مقالات پیوندشده مراجعه کنید.

1. [Where Quality Breaks in Compressed Short-Text Generation](https://aogavrilov.com/fa/publications/where-quality-breaks/) مقالهٔ اصلی و سنجه‌های مرحله‌به‌مرحلهٔ گزارش‌شده.
2. [Simple and Effective Masked Diffusion Language Models](https://arxiv.org/abs/2406.07524) صورت‌بندی انتشار گسستهٔ نقاب‌دار که مولد نهفته به کار می‌برد.
3. [Neural Discrete Representation Learning](https://arxiv.org/abs/1711.00937) روش بنیادیِ بازنمایی گسستهٔ آموخته‌شده.

نگه‌داری‌شده توسط Alexey Gavrilov . این صفحه شواهد موجود را خلاصه می‌کند و هیچ نتیجهٔ آزمایشی فراتر از منابع استنادشده نمی‌افزاید.