AG — Alexey Gavrilov home

Where Quality Breaks in Compressed Short-Text Generation: Staged Bottleneck Localization

Sıkıştırılmış Kısa Metin Üretiminde Kalitenin Bozulduğu Noktalar: Aşamalı Darboğaz Yerelleştirmesi

Kodek yeniden oluşturma kaybını gizil üretim kaybından ayıran, sıkıştırılmış kısa metin üretimine yönelik aşamalı bir tanılama.

Alexey Gavrilov1Alan-Barsag Gazzaev1Sergey Muravyov1

  1. ITMO University, Saint Petersburg, Russia

Makalenin tamamını HTML biçiminde okuyunFormüller, tablolar, şekiller ve kaynakça içeren aranabilir metin.

Kabul edilen nihai makale (yazarın yayımladığı DOI içeren sürüm). © 2026 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting or republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works. Yayımlama ve yeniden kullanım koşulları.

Makale 30 saniyede

Araştırma sorusuSıkıştırılmış bir metin üretim işlem hattındaki kalite kaybının kodekten ve gizil üreteçten kaynaklanan payları ayrı ayrı nasıl belirlenebilir?

Problem

Sıkıştırılmış kısa metin üretiminde, kodu çözülmüş metnin düşük kalitesi kodeğin yitirdiği bilgilerden veya gizil uzaydaki üretimin zayıflığından kaynaklanabilir. Uçtan uca puanlar bu başarısızlık biçimleri arasındaki ayrımı bulanıklaştırarak optimizasyon çabasının yanlış bileşene yönelmesine yol açabilir.

Yaklaşım

Aşamalı protokol; özgün metinleri, eşleştirilmiş kodek yeniden oluşturumlarını, belirteç uzayı MDLM çıktılarını ve kod uzayı difüzyon çıktılarını aynı haricî GPT-2 değerlendiricisiyle puanlar. Kod kitabı ve geometri ölçümleri, kodu çözülmüş metin kalitesinin yerine geçmez; tanı amaçlı ölçütler olarak kullanılır.

Ana sonuç

Kodek yeniden oluşturumu, haricî puanlayıcıyla ölçülen medyan şaşkınlık değerini 15.17'den 27.36'ya, p95 değerini ise 25.10'dan 98.91'e yükseltir. Buna karşın kod uzayı MDLM, belirteç uzayı MDLM'ye göre medyan şaşkınlık değerini yine de %30.9 azaltır.

Neden önemlidir?

Sonuç, kodek darboğazı tanısını uygulanabilir bir çalışma sırasına dönüştürür: önce kodekteki iyileştirmelere öncelik verin, ardından belirteç uzayı ile kod uzayı üretimini karşılaştırın ve gizil vekil ölçütlerdeki kazanımlara yalnızca kodu çözülmüş metin de iyileştiğinde güvenin.

Öz

Sıkıştırılmış kısa metin üreticileri iki farklı aşamada başarısız olabilir: kodek, üretim başlamadan önce bilgi kaybına yol açabilir ya da gizil üreteç yetersiz kodlar üretebilir. Bu başarısızlık biçimleri ayrıştırılmazsa araştırmacılar hesaplama kaynaklarını yanlış bileşeni iyileştirmeye harcayabilir. Bu problemi, hiyerarşik bir VQ-VAE-2 kodeği ile maskeli ayrık difüzyon üretecinden (MDLM) oluşan, denetimli bir 64'ten 16'ya TinyStories vaka çalışmasında inceliyoruz. Geometri çalışması için tamamlayıcı anlamsal ölçütleri de raporlayan aşamalı doğrulama protokolümüz, ortak bir haricî GPT-2 puanlayıcısı altında kodek yeniden oluşturma doğruluğunu, gizil üretim kalitesini ve yardımcı gizil tanı ölçütlerini birbirinden ayırır. Sınanan yapılandırmada yalnızca kodek yeniden oluşturumu, haricî puanlayıcıyla ölçülen medyan şaşkınlık değerini 15.17'den 27.36'ya (+80.4%), p95 değerini ise 25.10'dan 98.91'e (+294.1%) yükseltir; bu da baskın kalite kaybının gizil üretim başlamadan önce ortaya çıktığını gösterir. Aynı puanlayıcı altında kod uzayı MDLM, ortalama, medyan ve p95 değerlerini sırasıyla %32.9, %30.9 ve %36.6 azaltarak belirteç uzayı difüzyonundan kayda değer ölçüde daha iyi sonuç verir. Geometriyi gözeten düzenlileştirme, mevcut çalıştırmalarda yerel gizil vekil ölçütleri iyileştirirken kodu çözülmüş metin ölçütlerini iyileştirmez. Katkı algoritmik değil, yöntemseldir: makale, somut bir işlem hattı için yeniden kullanılabilir, aşamalı bir tanı yöntemi sunar ve bu ortamda uygulamadaki kalite tavanını gizil uzayda gürültü gidermeden çok kodek doğruluğunun belirlediğini gösterir.

Yayımlandığı yer 2026 39th Conference of Open Innovations Association (FRUCT)

Katkı türü Tanı yöntemi

sayı 1ss. 69–76Ana konferans

DOI https://doi.org/10.23919/FRUCT70069.2026.11506553

Bu makaleyi paylaşPaylaş

Temel sonuçlar

Sıkıştırılmış Kısa Metin Üretiminde Kalitenin Bozulduğu Noktalar: Aşamalı Darboğaz Yerelleştirmesi çalışmasının temel sonuçları
Değerlendirme noktasınOrtalama PPLMedyan PPLp95 PPL
Özgün metinler25616.2415.1725.1
Kodek yeniden oluşturumları25637.2627.3698.91
AR temel çizgisi25130.9823.2756.11
Belirteç uzayı MDLM25644.7438.4293.6
Kod uzayı MDLM25630.0126.5559.36

Temel sonuç. Gözlenen kalite kaybının büyük bölümü üretimden önce ortaya çıkmaktadır; buna karşın kod uzayı difüzyonu, belirteç uzayı difüzyonuna kıyasla medyan şaşkınlığı yine de %30,9 azaltmaktadır.

Veri kümesi
TinyStories
Örneklem büyüklüğü
256 eşleştirilmiş yeniden oluşturma örneği; mod başına 251–256 üretilmiş örnek; eşleştirilmiş dört geometri ayarı.
Ölçütler
Haricî GPT-2 şaşkınlığı: ortalama, medyan, p95 ve maksimum; kod kitabı kullanımı ve destek kümesi büyüklüğü; geometri koşuları için SBERT, BERTScore, MAUVE ve bir LLM-hakem özeti
Belirsizlik
Bildirilen karşılaştırmalar betimleyici tekil çalıştırmalardır; güven aralıkları ve çok tohumlu anlamlılık tahminleri hesaplanmamıştır.
Koşullar
64 uzunluğundaki GPT-2 belirteç dizileri, hiyerarşik bir VQ-VAE-2 ile 16 üst düzey koda sıkıştırılmıştır; tüm üretim kipleri ortak haricî puanlayıcıyı kullanır.

Sonuçları indir:CSVJSONMarkdownHaricî yansı:Hugging Face veri kümesi kartı

PDF ve atıf bilgileri

Bu makaleye atıf yapın Önerilen biçim BibTeX'tir. Aşağıdaki her bir biçim aynı yayın kaydından üretilmiştir.

PDF'yi açın
@inproceedings{Gavrilov2026WhereQuality,
  title      = {Where Quality Breaks in Compressed Short-Text Generation: Staged Bottleneck Localization},
  author     = {Gavrilov, Alexey and Gazzaev, Alan-Barsag and Muravyov, Sergey},
  booktitle  = {2026 39th Conference of Open Innovations Association (FRUCT)},
  publisher  = {IEEE},
  year       = {2026},
  pages      = {69--76},
  doi        = {10.23919/FRUCT70069.2026.11506553},
  url        = {https://doi.org/10.23919/FRUCT70069.2026.11506553},
  isbn       = {978-952-65246-5-8},
}
.bib dosyasını indir

Atıf dosyaları:APA metniIEEE metniRISCSL-JSONSchema.org JSON-LDOAI-DC XMLOpenAIRE v4 XMLMODS XMLJATS 1.4 üst veri XML'iTam metin JATS 1.4 XMLRDF TurtleBağlantı Kümesi (JSON)Bağlantı Kümesi (HTTP)RO-Crate

DOI:https://doi.org/10.23919/FRUCT70069.2026.11506553

Kılavuzun tamamı

Araştırma kılavuzunun tamamı

Yöntem

Makale, her ek dönüşümün ölçülebilir bir nitelik açığıyla ilişkilendirilebilmesi için üç değerlendirme aşamasında aynı puanlayıcıyı kullanır.

  1. Yeniden yapılandırın

    Kodek yeniden yapılandırma kaybını ölçmek için 64 belirteçli her TinyStories örneğini 16 üst düzey koda kodlayın ve hemen çözün.

  2. Üret

    MDLM ile metin belirteçleri ya da ayrık gizil kodlar üretin; ardından kod uzayı örneklerini aynı eğitilmiş kodekle çözün.

  3. Karşılaştırın

    Özgün metinleri, yeniden yapılandırmaları ve üretilen metinleri; medyan ve kuyruk istatistikleri de dâhil olmak üzere aynı harici GPT-2 protokolüyle puanlayın.

Kodek kaybını üretim kaybından ayırmak için özgün metni, kodek yeniden oluşturumunu, kod uzayı MDLM'yi ve kodu çözülmüş metni karşılaştıran aşamalı sıkıştırılmış metin üretim işlem hattı.
Aşamalı darboğaz yerelleştirmesi, ortak bir kodu çözülmüş metin değerlendirme protokolü altında kodek yeniden oluşturma kaybını gizil üretim kaybından ayırır.Kaynak: Yayımlanan yöntem ve sonuçlar temelinde yazar tarafından hazırlanmış açıklayıcı şema..Yeniden kullanım koşulları: CC BY 4.0.Önerilen atıf: Gavrilov, Gazzaev ve Muravyov (2026), Where Quality Breaks in Compressed Short-Text Generation. SVG'yi indir.

Temel fikir

Aşağı akıştaki bir üreteç, kodeğin daha önce attığı bilgiyi geri kazanamaz. Bu nedenle gizil üretim sonuçları yorumlanmadan önce yeniden oluşturma aşaması denetlenmelidir.

Benzer yaklaşımlardan farkı

Standart uçtan uca karşılaştırmalar tek bir nihai üretim puanı bildirir. Bu protokol, eşleştirilmiş bir yeniden yapılandırma denetim noktası ekler ve örtük uzaydaki sağlık ölçütlerini çözülmüş metne ilişkin kanıtlardan ayırır.

Yenilik nedir?

Katkı, yeni bir gürültü giderme algoritmasından ziyade, somut bir sıkıştırılmış metin işlem hattına yönelik yeniden kullanılabilir aşamalı bir tanılama yöntemidir.

Bu makalenin yanıtlamaya yardımcı olduğu sorular

Makaleye dayalı kısa bir yanıt için bir soruyu açın. Ayrıntılı kanıt sınırları Sınırlılıklar bölümünde listelenmiştir.

  1. Sıkıştırılmış kısa metin üretiminde kalite nerede bozulur?

    Sınanan TinyStories 64-to-16 işlem hattında baskın bozulma, gizil üretim başlamadan önce kodek yeniden oluşturumu aşamasında ortaya çıkar. Haricî GPT-2 puanlayıcısıyla ölçülen medyan şaşkınlık değeri özgün metinde 15.17 iken yeniden oluşturum sonrasında 27.36'ya, p95 ise 25.10'dan 98.91'e yükselir. Bu bulgu evrensel bir kodek sıralaması değil, tek bir yapılandırmaya ait bir sonuçtur.

  2. Kodek kaybı, gizil üretim kaybından nasıl ayrıştırılabilir?

    Aşamalı protokol; özgün metinleri, eşleştirilmiş kodek yeniden oluşturumlarını ve nihai üretilen metni ortak bir haricî puanlayıcıyla değerlendirir. Özgün metin ile yeniden oluşturum arasındaki fark kodeğin katkısını kestirirken yeniden oluşturum ile üretilen çıktı arasındaki karşılaştırma, üretim aşamasındaki ek kaybın yerini belirlemeye yardımcı olur. Gizil temsillerin niteliğine ilişkin ölçütler, kodu çözülmüş metne dayalı kanıtlardan ayrı raporlanır.

  3. Ayrık gizil temsillere dayalı metin üretimi nasıl değerlendirilmelidir?

    Makale, üreteçleri karşılaştırmadan önce yeniden oluşturma doğruluğunun denetlenmesini, her aşamada aynı kodu çözülmüş metin puanlayıcısının kullanılmasını ve merkezi eğilim ile kuyruk istatistiklerinin raporlanmasını önerir. Ayrıca kod kitabı kullanımını, geometriyi ve diğer gizil vekil ölçütleri, kodu çözülmüş metnin kalitesi yerine geçen göstergeler olarak değil, tanı araçları olarak ele alır.

  4. Kod uzayı difüzyonu, belirteç uzayı difüzyonundan daha başarılı mı?

    Ortak puanlayıcı ve sınanan kurulum altında kod uzayı MDLM, belirteç uzayı MDLM'ye kıyasla ortalama, medyan ve p95 şaşkınlığı sırasıyla %32.9, %30.9 ve %36.6 azaltır. Karşılaştırma betimleyicidir ve yapılandırmaya özgüdür; veri kümeleri, sıkıştırma oranları, kodekler veya difüzyon mimarileri genelinde evrensel bir sıralama ortaya koymaz.

  5. Daha iyi gizil geometri ölçütleri, daha iyi üretilmiş metni garanti eder mi?

    Hayır. Mevcut eşleştirilmiş çalıştırmalarda geometriyi gözeten düzenlileştirme, yerel gizil uzay vekil ölçütlerini iyileştirmiş; ancak kodu çözülmüş metin ölçütlerini iyileştirmemiştir. Bu bulgu, vekil ölçütlerdeki her kazanımın nihai kodu çözülmüş çıktıda denetlenmesini ve aktarım görülmemesinin üretimde iyileşme kanıtı olarak değil, yararlı bir olumsuz sonuç olarak değerlendirilmesini desteklemektedir.

Benzer yaklaşımlarla karşılaştırma

Sıkıştırılmış Kısa Metin Üretiminde Kalitenin Bozulduğu Noktalar: Aşamalı Darboğaz Yerelleştirmesi çalışmasının yakın yaklaşımlarla olgusal karşılaştırması
YaklaşımTemsilDenetim / tanıNeler korunur veya ölçülür?
Belirteç uzayı difüzyonuMetin belirteçleriBelirteç uzayında üretim kalitesiDoğrudan üretimin akıcılığı ve puanlayıcı davranışı
Sıkıştırılmış gizil üretimBir kodek aracılığıyla ayrık gizil kodlarNihai uçtan uca üretim kalitesiKodek ile gizil üreticinin birleşik davranışı
Aşamalı darboğaz yerelleştirmeMetin, kodek yeniden yapılandırmaları ve ayrık örtük temsillerKodek kaybını üretim kaybından ayırınOrtak bir puanlayıcı altında kalitenin bozulduğu aşama

Karşılaştırma, değerlendirme kapsamı ile kanıtı birbirinden ayırır; yaklaşımların evrensel bir sıralaması değildir.

İlgililik ve kapsam

Aşamalı protokol, üretici bir işlem hattı hem öğrenilmiş bir kodek hem de gizil uzay üreteci içerdiğinde, ancak çıktı kalitesindeki bozulmanın kaynağı belirsiz olduğunda yararlıdır.

  1. Sıkıştırılmış ve ayrık gizil değişkenli metin üretimi

  2. Üretici işlem hatlarında kodek yeniden yapılandırma doğruluğu

  3. Kod uzayında maskeli difüzyonla dil modelleme

  4. Darboğaz yerelleştirmesi ve aşamalar arası tutarlı değerlendirme

  5. Gizil uzay vekil ölçütlerindeki iyileşmelerin kodu çözülmüş metne göre denetlenmesi

Sınırlılıkları ve kanıt sınırlarını inceleyin

Sınırlılıklar

  • Ampirik çalışmada yalnızca TinyStories kullanılmaktadır.
  • Ana analiz, agresif bir 64'ten 16'ya sıkıştırma düzenini kapsamaktadır.
  • Değerlendirilen sistem, tek bir hiyerarşik VQ-VAE-2 kodek ailesini tek bir MDLM üreteciyle birleştirir.
  • Karşılaştırmalar tekil çalıştırmalara dayanır ve çoklu rastgelelik tohumu kullanan istatistiksel kestirimler değil, betimleyici sonuçlardır.
  • Haricî GPT-2 şaşkınlığı ortak bir tanı aracıdır; evrensel bir anlamsal kalite ölçütü değildir.
  • Sonuçlar tüm veri kümelerine, kodek mimarilerine veya sıkıştırma oranlarına doğrudan aktarılmamalıdır.

Makalede atıf yapılan kaynaklar

Bu girdiler, makalenin PDF sürümündeki numaralı Kaynakça bölümüyle eşleşir.

  1. Subham Sekhar Sahoo, Marianne Arriola, Yair Schiff, Aaron Gokaslan, Edgar Marroquin, Justin T Chiu, Alexander Rush, Volodymyr Kuleshov. . Simple and Effective Masked Diffusion Language Models. Advances in Neural Information Processing Systems.
  2. Aaron van den Oord, Oriol Vinyals, Koray Kavukcuoglu. . Neural Discrete Representation Learning. Advances in Neural Information Processing Systems.
  3. Ali Razavi, Aaron van den Oord, Oriol Vinyals. . Generating Diverse High-Fidelity Images with VQ-VAE-2. Advances in Neural Information Processing Systems.
  4. Jacob Austin, Daniel D. Johnson, Jonathan Ho, Daniel Tarlow, Rianne van den Berg. . Structured Denoising Diffusion Models in Discrete State-Spaces. Advances in Neural Information Processing Systems.
  5. Aaron Lou, Chenlin Meng, Stefano Ermon. . Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution. Proceedings of the 41st International Conference on Machine Learning.
  6. Xiaochuang Han, Sachin Kumar, Yulia Tsvetkov. . SSD-LM: Semi-autoregressive Simplex-based Diffusion Language Model for Text Generation and Modular Control. Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics.
  7. Xiang Lisa Li, John Thickstun, Ishaan Gulrajani, Percy Liang, Tatsunori B. Hashimoto. . Diffusion-LM Improves Controllable Text Generation. Advances in Neural Information Processing Systems.
  8. Huiwen Chang, Han Zhang, Lu Jiang, Ce Liu, William T. Freeman. . MaskGIT: Masked Generative Image Transformer. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.
  9. Marjan Ghazvininejad, Omer Levy, Yinhan Liu, Luke Zettlemoyer. . Mask-Predict: Parallel Decoding of Conditional Masked Language Models. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing.
  10. Emiel Hoogeboom, Didrik Nielsen, Priyank Jaini, Patrick Forré, Max Welling. . Argmax Flows and Multinomial Diffusion: Learning Categorical Distributions. Advances in Neural Information Processing Systems.
  11. Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever. . Language Models are Unsupervised Multitask Learners. OpenAI Technical Report.
  12. Nils Reimers, Iryna Gurevych. . Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing.
  13. Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, Yoav Artzi. . BERTScore: Evaluating Text Generation with BERT. International Conference on Learning Representations.
  14. Krishna Pillutla, Swabha Swayamdipta, Rowan Zellers, John Thickstun, Sean Welleck, Yejin Choi, Zaid Harchaoui. . MAUVE: Measuring the Gap Between Neural Text and Human Text using Divergence Frontiers. Advances in Neural Information Processing Systems.
  15. Lianmin Zheng, Wei-Lin Chiang, Ying Sheng, Siyuan Zhuang, Zhanghao Wu, Yonghao Zhuang, Zi Lin, Zhuohan Li, Dacheng Li, Eric P. Xing, Hao Zhang, Joseph E. Gonzalez, Ion Stoica. . Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. Advances in Neural Information Processing Systems, Datasets and Benchmarks Track.

Kaynaklar ve yeniden üretilebilirlik

Yayıncı
IEEE
Yayın kaynakları
Herkese açık makale, sonuç tabloları, açıklayıcı şekil ve atıf dosyaları burada sunulmaktadır. Uygulama kodu ve denetim noktaları kamuya açıklanmamıştır.

Veri bildirimi

Kaynak
Makalede açıklandığı biçimiyle TinyStories.
Lisans
TinyStories kullanımı veri kümesinin kendi koşullarına tabidir; bu site hiçbir veri kümesi dosyasını yeniden dağıtmaz.
Ön işleme
GPT-2 belirteçleştirmesi, 64 belirteçlik sabit girdiler ve 64 konumdan 32'ye, ardından 16'ya hiyerarşik zamansal sıkıştırma.
Böl
Yayın, 256 eşleştirilmiş yeniden yapılandırma örneği ve kip başına 251–256 üretilmiş örnek bildirmekte; yeniden kullanılabilir bir eğitim/doğrulama ayrımı bildirimi yayımlamamaktadır.
Biçim
Kısa metin örnekleri, GPT-2 belirteç dizileri, ayrık kod dizileri, üretim günlükleri ve özet tablolar.
Sürüm / sağlama toplamı
Makalede bir veri kümesi sağlama toplamı veya değişmez TinyStories anlık görüntü tanımlayıcısı bildirilmemiştir.
Edinim
Yayın sayfasıyla birlikte kamuya açık bir edinim betiği yayımlanmamıştır.
Kullanım sınırları
Kanıtlar kısa sentetik öyküleri kapsar ve kısıtlanmamış doğal dil üretimi için bir kıyaslama olarak değerlendirilmemelidir.

Sürümler

  1. Yayımlanmış sürümIEEE / FRUCT, 2026
  5. Konferans konuşmasıFRUCT 39 sunumu
  6. Konferans bildirileri diziniResmî FRUCT 39 cildi
  7. Konferans bildirileri PDF'siFRUCT açık erişimli tam metni
  8. Akademik kaydı açınOpenAlex
  9. Atıf grafiği kaydıSemantic Scholar
  10. Yazarın paylaştığı tam metinResearchGate

Yayımlanmış DOI, birincil bibliyografik tanımlayıcıdır. Bu sayfa, sürümler arasında projenin tek kanonik URL'si olarak kalır.

Şunu okuyun: Kodek darboğazı tanısı araştırma rehberi.Yazar hakkında.

Odaklı araştırma notları

Kanıt sınırları belirtilmiş ve bu makaleye geri bağlantılar içeren, amaca özgü yanıtlar.