Where Quality Breaks in Compressed Short-Text Generation: Staged Bottleneck Localization

دبے ہوئے مختصر متن کی تولید میں معیار کہاں متاثر ہوتا ہے: مرحلہ وار مقامِ رکاوٹ کی تعیین

مضغوط مختصر متن کی تولید کی مرحلہ وار تشخیص، جو کوڈیک کے بازتعمیراتی خسارے کو مخفی تولید کے خسارے سے الگ کرتی ہے۔

Alexey Gavrilov1Alan-Barsag Gazzaev1Sergey Muravyov1

  1. ITMO University, Saint Petersburg, Russia

مکمل مقالہ HTML میں پڑھیںفارمولوں، جدولوں، اشکال اور حوالوں سمیت قابلِ تلاش متن۔

حتمی منظور شدہ مسودہ (مصنف کی شائع کردہ DOI والی صورت)۔ © 2026 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting or republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works. اشاعت اور بازاستعمال کی شرائط.

مقالے کا 30 سیکنڈ میں خلاصہ

تحقیقی سوالدبے ہوئے متن کی تولیدی پائپ لائن میں معیار کے زوال کو کوڈیک اور فضائے نہاں کے مولّد سے الگ الگ کیسے منسوب کیا جا سکتا ہے؟

مسئلہ

مضغوط مختصر متن کی تولید میں ناقص رمزکشائی شدہ متن، کوڈیک میں ضائع ہونے والی معلومات یا فضائے مخفی میں کمزور تولید کا نتیجہ ہو سکتا ہے۔ ابتدا تا انتہا اسکور ناکامی کی ان صورتوں میں امتیاز کو دھندلا دیتے ہیں اور بہتری کی کوششوں کو غلط جزو کی طرف موڑ سکتے ہیں۔

طریقۂ کار

مرحلہ وار ضابطہ اصل نمونوں، اُن سے مربوط کوڈیک بازتعمیرات، token-space MDLM کے مخرجات، اور code-space diffusion کے مخرجات کو ایک ہی بیرونی GPT-2 جائزہ کار سے جانچتا ہے۔ codebook اور ہندسی پیمائشیں رمزکشائی شدہ متن کے معیار کا بدل نہیں، بلکہ تشخیصی اشاریے رہتی ہیں۔

مرکزی نتیجہ

کوڈیک بازتعمیر خارجی پرپلیکسیٹی کے وسطانیے کو 15.17 سے 27.36 اور p95 کو 25.10 سے 98.91 تک بڑھاتی ہے۔ اس کے باوجود فضائے کوڈ MDLM، فضائے ٹوکن MDLM کے مقابلے میں وسطانی پرپلیکسیٹی 30.9% کم کرتا ہے۔

یہ کیوں اہم ہے

یہ نتیجہ کوڈیک کے اختناقی مقام کی تشخیص کو ایک قابلِ عمل ترتیب دیتا ہے: پہلے کوڈیک کی بہتری کو ترجیح دی جائے، پھر token-space اور code-space تولید کا تقابل کیا جائے، اور مخفی قائم مقام پیمانوں میں بہتری کو صرف اسی وقت معتبر سمجھا جائے جب رمزکشائی شدہ متن بھی بہتر ہو۔

خلاصہ

مضغوط مختصر متن کے مولّد دو مختلف مقامات پر ناکام ہو سکتے ہیں: کوڈیک تولید شروع ہونے سے پہلے معلومات ضائع کر سکتا ہے، یا مولّدِ نہاں کمزور کوڈ پیدا کر سکتا ہے۔ ناکامی کی ان صورتوں کو الگ کیے بغیر محققین غلط جزو کی بہتری پر حسابی وسائل صرف کر سکتے ہیں۔ ہم اس مسئلے کا مطالعہ ایک منضبط 64-سے-16 TinyStories مطالعاتی مثال میں کرتے ہیں، جو درجہ بند VQ-VAE-2 کوڈیک اور ماسک شدہ متفرد پھیلاؤ کے مولّد (MDLM) پر مبنی ہے۔ ہم مرحلہ وار توثیقی ضابطہ استعمال کرتے ہیں جو ایک مشترک خارجی GPT-2 اسکور کار کے تحت کوڈیک بازتعمیر کی وفاداری، نہاں تولید کے معیار، اور معاون نہاں تشخیصی پیمانوں کو الگ کرتا ہے، جبکہ ہندسی مطالعے کے لیے تکمیلی معنوی پیمانے بھی پیش کرتا ہے۔ آزمودہ تشکیل میں، صرف کوڈیک بازتعمیر خارجی پرپلیکسیٹی کے وسطانیے کو 15.17 سے 27.36 (+80.4%) اور p95 کو 25.10 سے 98.91 (+294.1%) تک بڑھا دیتی ہے، جس سے ظاہر ہوتا ہے کہ غالب معیاری خسارہ نہاں تولید شروع ہونے سے پہلے سامنے آتا ہے۔ اسی اسکور کار کے تحت فضائے کوڈ MDLM، فضائے ٹوکن پھیلاؤ سے نمایاں طور پر مضبوط رہتا ہے اور اوسط، وسطانیہ، اور p95 کو بالترتیب 32.9%، 30.9%، اور 36.6% کم کرتا ہے۔ ہندسی آگاہ ضابطہ بندی مقامی نہاں قائم مقام پیمانوں کو بہتر کرتی ہے، مگر دستیاب اجرا میں رمزکشائی شدہ متن کے پیمانوں کو بہتر نہیں کرتی۔ اس تحقیق کا حصہ الگورتھمی کے بجائے طریقہ جاتی ہے: مقالہ ایک مخصوص سلسلۂ عمل کے لیے قابلِ اعادہ مرحلہ وار تشخیص پیش کرتا اور دکھاتا ہے کہ اس ترتیب میں عملی معیار کی حدِ بالا نہاں شور ربائی کے بجائے کوڈیک وفاداری متعین کرتی ہے۔

مقامِ اشاعت 2026 39th Conference of Open Innovations Association (FRUCT)

نوعیتِ حصہ تشخیصی طریقۂ کار

شمارہ 1صص۔ 69–76مرکزی کانفرنس

DOI https://doi.org/10.23919/FRUCT70069.2026.11506553

یہ مقالہ شیئر کریںاشتراک

کلیدی نتائج

Where Quality Breaks in Compressed Short-Text Generation: Staged Bottleneck Localization کے کلیدی نتائج
جانچ کا مقامnاوسط PPLمیانہ PPLp95 PPL
اصل متون25616.2415.1725.1
کوڈیک بازتعمیرات25637.2627.3698.91
AR baseline25130.9823.2756.11
Token-space MDLM25644.7438.4293.6
فضائے کوڈ MDLM25630.0126.5559.36

کلیدی نتیجہ۔ مشاہدہ شدہ معیار کا بیشتر خسارہ تولید سے پہلے پیدا ہوتا ہے؛ اس کے باوجود code-space diffusion، token-space diffusion کے مقابلے میں perplexity کا وسطانیہ 30.9% کم کرتی ہے۔

مجموعۂ کوائف
TinyStories
نمونے کا حجم
باز تعمیر کے 256 جوڑی دار نمونے؛ ہر mode میں 251–256 تولید شدہ نمونے؛ geometry کی چار باہم مماثل ترتیبات۔
پیمانے
بیرونی GPT-2 perplexity: اوسط، میڈین، p95، اور زیادہ سے زیادہ؛ Codebook کا استعمال اور support size؛ ہندسی تجربات کے لیے SBERT، BERTScore، MAUVE، اور LLM-judge کا خلاصہ
غیر یقینی
موازنے توضیحی single runs ہیں؛ confidence intervals اور multi-seed significance estimates محسوب نہیں ہوئے۔
شرائط
64 طوالت کے GPT-2 ٹوکن سلسلوں کو درجہ وار VQ-VAE-2 کے ذریعے 16 اعلیٰ سطحی رموز تک دبایا گیا؛ تولید کے تمام طریقے مشترکہ بیرونی اسکورر استعمال کرتے ہیں۔

PDF اور حوالہ

اس مقالے کا حوالہ یوں دیں BibTeX تجویز کردہ وضع ہے۔ ذیل کی ہر صورت اسی اشاعتی record سے تیار کی گئی ہے۔

PDF کھولیں
@inproceedings{Gavrilov2026WhereQuality,
  title      = {Where Quality Breaks in Compressed Short-Text Generation: Staged Bottleneck Localization},
  author     = {Gavrilov, Alexey and Gazzaev, Alan-Barsag and Muravyov, Sergey},
  booktitle  = {2026 39th Conference of Open Innovations Association (FRUCT)},
  publisher  = {IEEE},
  year       = {2026},
  pages      = {69--76},
  doi        = {10.23919/FRUCT70069.2026.11506553},
  url        = {https://doi.org/10.23919/FRUCT70069.2026.11506553},
  isbn       = {978-952-65246-5-8},
}
.bib ڈاؤن لوڈ کریں

حوالہ جاتی فائلیں:APA متنIEEE متنRISCSL-JSONSchema.org JSON-LDOAI-DC XMLOpenAIRE v4 XMLMODS XMLJATS 1.4 میٹا ڈیٹا XMLمکمل متن JATS 1.4 XMLRDF Turtleروابط کا مجموعہ (JSON)روابط کا مجموعہ (HTTP)RO-Crate

DOI:https://doi.org/10.23919/FRUCT70069.2026.11506553

مکمل رہنما

مکمل تحقیقی رہنما

طریقۂ کار

مقالہ تین جائزہ مراحل میں ایک scorer رکھتا ہے تاکہ ہر اضافی تبدیلی قابلِ پیمائش معیار خلا سے وابستہ ہو۔

  1. بازتعمیر کریں

    ہر 64-token TinyStories نمونے کو 16 اعلیٰ سطحی رموز میں رمز بند کریں اور کوڈیک بازتعمیر کے نقصان کی پیمائش کے لیے فوراً اس کی رمز کشائی کریں۔

  2. تولید کریں

    MDLM سے یا تو متنی ٹوکن یا منفصل خفی رموز تولید کریں، پھر فضائے رمز کے نمونوں کی اسی تربیت یافتہ کوڈیک کے ذریعے رمز کشائی کریں۔

  3. تقابل کریں

    اصل متون، بازتعمیرات، اور مولّدہ متون کو ایک ہی بیرونی GPT-2 پروٹوکول سے اسکور کریں، جس میں median اور tail کے اعداد و شمار بھی شامل ہوں۔

مضغوط متن کی مرحلہ وار تولیدی pipeline، جو اصل متن، کوڈیک بازتعمیر، code-space MDLM اور رمزکشائی شدہ متن کا تقابل کرکے کوڈیک کے خسارے کو تولیدی خسارے سے الگ کرتی ہے۔
مرحلہ وار تعیینِ مقامِ اختناق، رمزکشائی شدہ متن کے ایک مشترک جائزہ جاتی ضابطے کے تحت کوڈیک کے بازتعمیراتی خسارے کو مخفی تولید کے خسارے سے الگ کرتی ہے۔ماخذ: شائع شدہ طریقے اور نتائج کی بنیاد پر مصنف کا تیار کردہ توضیحی خاکہ۔.دوبارہ استعمال کی شرائط: CC BY 4.0.تجویز کردہ انتساب: Gavrilov, Gazzaev, and Muravyov (2026), Where Quality Breaks in Compressed Short-Text Generation. SVG ڈاؤن لوڈ کریں.

کلیدی تصور

بعد کا generator وہ معلومات بازیافت نہیں کر سکتا جنہیں codec پہلے ہی ضائع کر چکا ہو۔ اس لیے نہاں تولید کے نتائج کی تعبیر سے پہلے بازتعمیر کے مرحلے کا محاسبہ ضروری ہے۔

قریبی طریقوں سے فرق

معیاری ابتدا تا انتہا موازنے ایک حتمی تولیدی اسکور دیتے ہیں۔ یہ پروٹوکول جوڑی دار بازتعمیر checkpoint شامل کرکے مخفی فضا کے صحتی پیمانے ڈی کوڈ شدہ متن کے شواہد سے الگ کرتا ہے۔

نیا کیا ہے

خدمت ایک مخصوص مضغوط متن pipeline کے لیے قابلِ بازاستعمال مرحلہ وار تشخیصی طریقۂ کار ہے، نیا denoising algorithm نہیں۔

وہ سوالات جن کے جواب میں یہ مقالہ معاون ہے

مقالے پر مبنی مختصر جواب کے لیے سوال کھولیں۔ شواہد کی تفصیلی حدود، حدود و قیود میں درج ہیں۔

  1. دبائے ہوئے مختصر متن کی توليد میں معیار کہاں متاثر ہوتا ہے؟

    آزمودہ TinyStories 64-to-16 پائپ لائن میں غالب زوال کوڈیک بازتعمیر کے مرحلے پر، فضائے نہاں میں تولید شروع ہونے سے پہلے، ظاہر ہوتا ہے۔ خارجی GPT-2 perplexity کا وسطانیہ اصل متن کے لیے 15.17 سے بڑھ کر بازتعمیر کے بعد 27.36 ہو جاتا ہے، جبکہ p95، 25.10 سے بڑھ کر 98.91 ہو جاتا ہے۔ یہ ایک مخصوص ترتیب کا نتیجہ ہے، کوڈیک کی کوئی آفاقی درجہ بندی نہیں۔

  2. کوڈیک کے خسارے کو فضائے نہاں میں تولید کے خسارے سے کیسے الگ کیا جا سکتا ہے؟

    مرحلہ وار دستور اصل نمونوں، ان سے جوڑی گئی کوڈیک باز تعمیرات، اور آخری تولید شدہ متن کو ایک مشترک بیرونی ممیز سے جانچتا ہے۔ اصل سے باز تعمیر تک فرق کوڈیک کے حصے کا تخمینہ دیتا ہے، جبکہ باز تعمیر اور تولید شدہ حاصل کے موازنے سے تولیدی مرحلے کے اضافی زیاں کا مقام متعین کرنے میں مدد ملتی ہے۔ نہاں صحت کے پیمانے غیر رمزشُدہ متن کی شہادت سے الگ بیان کیے جاتے ہیں۔

  3. منفصل فضائے نہاں میں متن کی تولید کا جائزہ کیسے لیا جانا چاہیے؟

    مقالہ generators کے موازنے سے پہلے reconstruction fidelity، ہر مرحلے پر یکساں decoded-text scorer اور مرکزی و دُمی statistics کی سفارش کرتا ہے۔ codebook usage، geometry اور latent proxies کو decoded text quality کا بدل نہیں بلکہ تشخیص سمجھتا ہے۔

  4. کیا فضائے رمز کا پھیلاؤ، فضائے ٹوکن کے پھیلاؤ سے بہتر کارکردگی دکھاتا ہے؟

    مشترک ممیز اور آزمودہ ترتیب میں code-space MDLM، token-space MDLM کے مقابلے میں mean، median اور p95 perplexity بالترتیب 32.9%، 30.9% اور 36.6% کم کرتا ہے۔ موازنہ توضیحی اور مخصوص ترتیب تک محدود ہے: یہ datasets، compression ratios، codecs یا diffusion architectures میں کوئی آفاقی درجہ بندی قائم نہیں کرتا۔

  5. کیا فضائے خفی کی بہتر ہندسی پیمائشیں بہتر تولید شدہ متن کی ضمانت دیتی ہیں؟

    نہیں۔ دستیاب مماثل اجرا میں ہندسی آگاہ باقاعدہ کاری نے فضائے نہاں کے مقامی قائم مقام پیمانے بہتر کیے، مگر رمز کشائی شدہ متن کے پیمانوں میں بہتری نہیں آئی۔ یہ نتیجہ تقاضا کرتا ہے کہ ہر قائم مقام بہتری کو آخری رمز کشائی شدہ ماحصل پر جانچا جائے، اور منتقلی کے فقدان کو تولید میں بہتری کی دلیل کے بجائے ایک مفید منفی نتیجہ سمجھا جائے۔

قریبی طریقوں سے تقابل

Where Quality Breaks in Compressed Short-Text Generation: Staged Bottleneck Localization کا قریبی طریقوں سے واقعاتی موازنہ
طریقۂ کارنمائندگیکنٹرول / تشخیصکیا محفوظ رکھا یا ناپا جاتا ہے
Token-space پھیلاؤمتنی ٹوکنفضائے ٹوکن میں تولید کا معیاربراہِ راست تولید کی روانی اور اسکورر کا رویہ
مضغوط نہاں تولیدکوڈیک کے ذریعے منفصل خفی رموزحتمی سرے سے سرے تک تولیدی معیارکوڈیک اور مولّدِ نہاں کا مشترکہ طرزِ عمل
مرحلہ وار bottleneck تعیینِ مقاممتن، کوڈیک بازتعمیرات اور منفصل مخفی متغیراتکوڈیک خسارے کو تولیدی خسارے سے الگ کریںایک مشترک ممیز کے تحت معیار کہاں گرتا ہے

موازنہ جائزے کے دائرے اور شواہد میں فرق کرتا ہے؛ یہ طریقوں کی آفاقی درجہ بندی نہیں۔

تعلق اور دائرۂ کار

مرحلہ وار دستور اس وقت مفید ہے جب تولیدی سلسلۂ کار میں سیکھا ہوا کوڈیک اور فضائے نہاں کا مولد دونوں ہوں، مگر حاصل کے معیار میں تنزل کا منبع واضح نہ ہو۔

  1. مضغوط اور متفرد متغیراتِ نہاں پر مبنی متن کی تولید

  2. تولیدی سلسلہ ہائے عمل میں کوڈیک بازتعمیر کی وفاداری

  3. کوڈ کی فضا میں نقاب زدہ پھیلاؤ پر مبنی لسانی ماڈل سازی

  4. مقامِ رکاوٹ کی تعیین اور مرحلہ جاتی مطابقت رکھنے والی جانچ

  5. رمزکشائی شدہ متن کے مقابل فضائے نہاں کے قائم مقام پیمانوں میں بہتری کا محاسبہ

حدود اور شواہد کی سرحدیں دیکھیں

حدود

  • تجرباتی مطالعہ صرف TinyStories تک محدود ہے۔
  • مرکزی تجزیہ 64-سے-16 کی ایک شدید ضغاطتی ترتیب تک محدود ہے۔
  • زیرِ جائزہ نظام ایک درجہ بند VQ-VAE-2 codec family کو ایک MDLM generator سے ملاتا ہے۔
  • تقابلات ایک ایک اجرا پر مبنی ہیں اور متعدد random seeds سے حاصل کردہ شماریاتی تخمینوں کے بجائے توصیفی نوعیت رکھتے ہیں۔
  • بیرونی GPT-2 perplexity ایک مشترک تشخیصی پیمانہ ہے، معنوی معیار کا آفاقی پیمانہ نہیں۔
  • نتائج تمام datasets، codec architectures یا compression ratios پر براہِ راست منتقل نہ کیے جائیں۔

مقالے میں حوالہ دیے گئے مراجع

یہ اندراجات مقالے کی PDF میں عدد وار References حصے سے متناظر ہیں۔

  1. Subham Sekhar Sahoo, Marianne Arriola, Yair Schiff, Aaron Gokaslan, Edgar Marroquin, Justin T Chiu, Alexander Rush, Volodymyr Kuleshov. . Simple and Effective Masked Diffusion Language Models. Advances in Neural Information Processing Systems.
  2. Aaron van den Oord, Oriol Vinyals, Koray Kavukcuoglu. . Neural Discrete Representation Learning. Advances in Neural Information Processing Systems.
  3. Ali Razavi, Aaron van den Oord, Oriol Vinyals. . Generating Diverse High-Fidelity Images with VQ-VAE-2. Advances in Neural Information Processing Systems.
  4. Jacob Austin, Daniel D. Johnson, Jonathan Ho, Daniel Tarlow, Rianne van den Berg. . Structured Denoising Diffusion Models in Discrete State-Spaces. Advances in Neural Information Processing Systems.
  5. Aaron Lou, Chenlin Meng, Stefano Ermon. . Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution. Proceedings of the 41st International Conference on Machine Learning.
  6. Xiaochuang Han, Sachin Kumar, Yulia Tsvetkov. . SSD-LM: Semi-autoregressive Simplex-based Diffusion Language Model for Text Generation and Modular Control. Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics.
  7. Xiang Lisa Li, John Thickstun, Ishaan Gulrajani, Percy Liang, Tatsunori B. Hashimoto. . Diffusion-LM Improves Controllable Text Generation. Advances in Neural Information Processing Systems.
  8. Huiwen Chang, Han Zhang, Lu Jiang, Ce Liu, William T. Freeman. . MaskGIT: Masked Generative Image Transformer. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.
  9. Marjan Ghazvininejad, Omer Levy, Yinhan Liu, Luke Zettlemoyer. . Mask-Predict: Parallel Decoding of Conditional Masked Language Models. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing.
  10. Emiel Hoogeboom, Didrik Nielsen, Priyank Jaini, Patrick Forré, Max Welling. . Argmax Flows and Multinomial Diffusion: Learning Categorical Distributions. Advances in Neural Information Processing Systems.
  11. Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever. . Language Models are Unsupervised Multitask Learners. OpenAI Technical Report.
  12. Nils Reimers, Iryna Gurevych. . Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing.
  13. Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, Yoav Artzi. . BERTScore: Evaluating Text Generation with BERT. International Conference on Learning Representations.
  14. Krishna Pillutla, Swabha Swayamdipta, Rowan Zellers, John Thickstun, Sean Welleck, Yejin Choi, Zaid Harchaoui. . MAUVE: Measuring the Gap Between Neural Text and Human Text using Divergence Frontiers. Advances in Neural Information Processing Systems.
  15. Lianmin Zheng, Wei-Lin Chiang, Ying Sheng, Siyuan Zhuang, Zhanghao Wu, Yonghao Zhuang, Zi Lin, Zhuohan Li, Dacheng Li, Eric P. Xing, Hao Zhang, Joseph E. Gonzalez, Ion Stoica. . Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. Advances in Neural Information Processing Systems, Datasets and Benchmarks Track.

وسائل اور قابلِ تکرار تحقیق

ناشر
IEEE
اشاعتی وسائل
عوامی مخطوطہ، نتائج کے جدول، توضیحی شکل اور citation files یہاں ہیں۔ implementation code اور checkpoints عوامی طور پر جاری نہیں۔

کوائف کا بیان

ماخذ
TinyStories، جیسا کہ مقالے میں بیان ہوا ہے۔
اجازت نامہ
TinyStories کا استعمال dataset کی اپنی شرائط کے تابع ہے؛ یہ ویب گاہ dataset کی کوئی file دوبارہ تقسیم نہیں کرتی۔
پیش کار کاری
GPT-2 tokenization، مقررہ 64-token مدخلات، اور 64 سے 32، پھر 16 مقامات تک درجہ وار زمانی دباؤ۔
تقسیم
اشاعت ہر mode میں 256 paired reconstruction samples اور 251–256 generated samples دیتی ہے؛ reusable train/validation split manifest شائع نہیں کرتی۔
صورت
مختصر متنی نمونے، GPT-2 ٹوکن سلسلے، منفصل کوڈ سلسلے، تولیدی logs اور خلاصہ جدول۔
نسخہ / checksum
مقالے میں dataset checksum یا ناقابلِ تغیر TinyStories snapshot identifier درج نہیں کیا گیا۔
حصول
اشاعتی صفحے کے ساتھ عوامی acquisition script جاری نہیں کیا گیا۔
استعمال کی حدود
شواہد مختصر مصنوعی کہانیوں تک ہیں؛ انہیں غیر مقید قدرتی زبان کی تولید کا benchmark نہ سمجھا جائے۔

نسخے

  1. شائع شدہ نسخہIEEE / FRUCT, 2026
  2. کانفرنس خطابFRUCT 39 پیش کش
  3. مجموعۂ مقالاتِ کانفرنس کا اشاریہFRUCT 39 کی سرکاری جلد
  4. مجموعۂ مقالاتِ کانفرنس PDFFRUCT کا آزاد مکمل متن
  5. علمی ریکارڈ کھولیںOpenAlex
  6. حوالہ جاتی گراف کا ریکارڈSemantic Scholar
  7. مصنف کا فراہم کردہ مکمل متنResearchGate

شائع شدہ DOI بنیادی کتابیاتی شناختی ہے۔ یہ صفحہ تمام versions میں واحد canonical project URL ہے۔