# Where Quality Breaks in Compressed Short-Text Generation: Staged Bottleneck Localization

Canonical HTML: https://aogavrilov.com/th/publications/where-quality-breaks/

Document language: th

จุดที่คุณภาพลดลงในการสร้างข้อความสั้นแบบบีบอัด: การระบุคอขวดเป็นลําดับขั้น

การวินิจฉัยเป็นลําดับขั้นของการสร้างข้อความสั้นแบบบีบอัด ซึ่งแยกการสูญเสียจากการสร้างคืนด้วยตัวแปลงสัญญาณออกจากการสูญเสียจากการสร้างในปริภูมิแฝง

[Alexey Gavrilov](https://orcid.org/0009-0006-3147-5430) 1 [Alan-Barsag Gazzaev](https://orcid.org/0009-0000-0334-312X) 1 [Sergey Muravyov](https://orcid.org/0000-0002-4251-1744) 1

1. [ITMO University, Saint Petersburg, Russia](https://en.itmo.ru/)

[อ่านบทความฉบับเต็มในรูปแบบ HTML](https://aogavrilov.com/publications/where-quality-breaks/full-text/) เนื้อหาที่ค้นหาได้ พร้อมสูตร ตาราง รูป และเอกสารอ้างอิง

ต้นฉบับฉบับสมบูรณ์ที่ได้รับการตอบรับ (ฉบับที่ผู้เขียนเผยแพร่พร้อม DOI) © 2026 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting or republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works. [เงื่อนไขการเผยแพร่และการนําไปใช้ซ้ํา](https://journals.ieeeauthorcenter.ieee.org/become-an-ieee-journal-author/publishing-ethics/guidelines-and-policies/post-publication-policies/) .

## ทําความเข้าใจบทความใน 30 วินาที

**คําถามวิจัย** จะจําแนกได้อย่างไรว่าการสูญเสียคุณภาพในไปป์ไลน์การสร้างข้อความแบบบีบอัดเกิดจากโคเดกหรือตัวสร้างในปริภูมิแฝง

### ปัญหา

ในการสร้างข้อความสั้นแบบบีบอัด ข้อความที่ถอดรหัสแล้วมีคุณภาพต่ําอาจเกิดจากข้อมูลที่โคเดกทําสูญหาย หรือจากการสร้างในปริภูมิแฝงที่ยังไม่ดีพอ คะแนนแบบต้นทางถึงปลายทางทําให้รูปแบบความล้มเหลวเหล่านี้แยกจากกันได้ยาก และอาจทําให้มุ่งปรับประสิทธิภาพผิดองค์ประกอบ

### แนวทาง

โพรโทคอลแบบแบ่งขั้นใช้ตัวประเมิน GPT-2 ภายนอกตัวเดียวกันให้คะแนนข้อความต้นฉบับ ผลการสร้างคืนด้วยโคเดกที่จับคู่กัน ผลลัพธ์ MDLM ในปริภูมิโทเค็น และผลลัพธ์การแพร่ในปริภูมิรหัส ส่วนตัววัดสมุดรหัสและเรขาคณิตใช้เพื่อการวินิจฉัยเท่านั้น มิใช่ตัวแทนคุณภาพของข้อความหลังถอดรหัส

### ผลลัพธ์หลัก

การสร้างคืนด้วยโคเดกทําให้ค่ามัธยฐานเพอร์เพล็กซิตีจากตัวประเมินภายนอกเพิ่มจาก 15.17 เป็น 27.36 และ p95 เพิ่มจาก 25.10 เป็น 98.91 อย่างไรก็ดี MDLM ในปริภูมิรหัสยังลดค่ามัธยฐานเพอร์เพล็กซิตีได้ 30.9% เมื่อเทียบกับ MDLM ในปริภูมิโทเค็น

### เหตุผลที่เรื่องนี้สําคัญ

ผลลัพธ์นี้ทําให้การวินิจฉัยคอขวดของโคเดกนําไปจัดลําดับงานได้จริง กล่าวคือ ควรปรับปรุงโคเดกก่อน แล้วจึงเปรียบเทียบการสร้างในปริภูมิโทเค็นกับปริภูมิรหัส และควรเชื่อว่าตัวชี้วัดตัวแทนในปริภูมิแฝงที่ดีขึ้นสะท้อนคุณภาพจริงก็ต่อเมื่อข้อความหลังถอดรหัสดีขึ้นด้วย

## บทคัดย่อ

ระบบสร้างข้อความสั้นแบบบีบอัดอาจล้มเหลวได้สองขั้น กล่าวคือ โคเดกอาจทิ้งข้อมูลไปก่อนเริ่มการสร้าง หรือตัวสร้างในปริภูมิแฝงอาจผลิตรหัสที่ด้อยคุณภาพ หากไม่แยกสาเหตุทั้งสอง นักวิจัยอาจใช้ทรัพยากรประมวลผลไปกับการปรับปรุงองค์ประกอบที่ไม่ใช่ต้นเหตุ เราศึกษาปัญหานี้ด้วยกรณีศึกษาแบบควบคุมบน TinyStories ที่บีบอัดจาก 64 เป็น 16 โดยใช้โคเดก VQ-VAE-2 แบบลําดับชั้นและตัวสร้างด้วยการแพร่แบบไม่ต่อเนื่องชนิดมาสก์ (MDLM) โพรโทคอลตรวจสอบเป็นลําดับขั้นของเราแยกความเที่ยงตรงของการสร้างคืนด้วยโคเดก คุณภาพการสร้างในปริภูมิแฝง และตัววินิจฉัยเสริมในปริภูมิแฝงออกจากกัน โดยใช้ตัวให้คะแนน GPT-2 ภายนอกตัวเดียวกัน พร้อมรายงานเมตริกเชิงความหมายเพิ่มเติมสําหรับการศึกษาเรขาคณิต ในการตั้งค่าที่ทดสอบ การสร้างคืนด้วยโคเดกเพียงอย่างเดียวทําให้ค่ามัธยฐานเพอร์เพล็กซิตีภายนอกเพิ่มจาก 15.17 เป็น 27.36 (+80.4%) และ p95 เพิ่มจาก 25.10 เป็น 98.91 (+294.1%) แสดงว่าคุณภาพส่วนใหญ่สูญเสียไปก่อนเริ่มการสร้างในปริภูมิแฝง เมื่อใช้ตัวให้คะแนนเดียวกัน MDLM ในปริภูมิรหัสยังให้ผลดีกว่าการแพร่ในปริภูมิโทเค็นอย่างชัดเจน โดยลดค่าเฉลี่ย ค่ามัธยฐาน และ p95 ลง 32.9%, 30.9% และ 36.6% ตามลําดับ การทําเรกิวลาไรเซชันโดยคํานึงถึงเรขาคณิตช่วยให้ตัวชี้วัดตัวแทนเฉพาะที่ในปริภูมิแฝงดีขึ้น แต่ไม่ทําให้เมตริกของข้อความหลังถอดรหัสดีขึ้นในการทดลองที่มีอยู่ คุณูปการของงานนี้จึงอยู่ที่ระเบียบวิธี มิใช่อัลกอริทึม บทความนําเสนอการวินิจฉัยเป็นลําดับขั้นที่นําไปใช้ซ้ําได้กับไปป์ไลน์หนึ่งที่กําหนดชัดเจน และแสดงว่าในการตั้งค่านี้ ความเที่ยงตรงของโคเดกเป็นปัจจัยกําหนดเพดานคุณภาพในทางปฏิบัติ มิใช่การขจัดสัญญาณรบกวนในปริภูมิแฝง

เผยแพร่ ณ การประชุม 2026 39th Conference of Open Innovations Association (FRUCT)

ประเภทคุณูปการ ระเบียบวิธีการวินิจฉัย

28 เมษายน 2026 ฉบับที่ 1 หน้า 69–76 การประชุมวิชาการหลัก

DOI [https://doi.org/10.23919/FRUCT70069.2026.11506553](https://doi.org/10.23919/FRUCT70069.2026.11506553)

## เนื้อหา ในหน้านี้

## ผลลัพธ์สําคัญ

| จุดประเมิน | n | ค่าเฉลี่ย PPL | ค่ามัธยฐาน PPL | PPL เปอร์เซ็นไทล์ที่ 95 |
| --- | --- | --- | --- | --- |
| ข้อความต้นฉบับ | 256 | 16.24 | 15.17 | 25.1 |
| ผลการสร้างคืนของโคเดก | 256 | 37.26 | 27.36 | 98.91 |
| เส้นฐาน AR | 251 | 30.98 | 23.27 | 56.11 |
| MDLM ในปริภูมิโทเค็น | 256 | 44.74 | 38.42 | 93.6 |
| MDLM ในปริภูมิรหัส | 256 | 30.01 | 26.55 | 59.36 |

**ผลลัพธ์สําคัญ** การสูญเสียคุณภาพที่สังเกตได้ส่วนใหญ่เกิดขึ้นก่อนขั้นการสร้าง อย่างไรก็ดี การแพร่ในปริภูมิโค้ดยังคงลดค่ามัธยฐานของความฉงนได้ 30.9% เมื่อเทียบกับการแพร่ในปริภูมิโทเคน

ดาวน์โหลดผลลัพธ์: [CSV](https://aogavrilov.com/publications/where-quality-breaks/results.csv) [JSON](https://aogavrilov.com/publications/where-quality-breaks/results.json) [Markdown](https://aogavrilov.com/publications/where-quality-breaks/results.md) แหล่งสําเนาภายนอก: [การ์ดชุดข้อมูล Hugging Face](https://huggingface.co/datasets/aogavrilov/where-quality-breaks-results)

## PDF และการอ้างอิง

**อ้างอิงบทความนี้** BibTeX เป็นรูปแบบที่แนะนํา รูปแบบย่อยทั้งหมดด้านล่างสร้างจากระเบียนผลงานตีพิมพ์เดียวกัน

```
@inproceedings{Gavrilov2026WhereQuality,
  title      = {Where Quality Breaks in Compressed Short-Text Generation: Staged Bottleneck Localization},
  author     = {Gavrilov, Alexey and Gazzaev, Alan-Barsag and Muravyov, Sergey},
  booktitle  = {2026 39th Conference of Open Innovations Association (FRUCT)},
  publisher  = {IEEE},
  year       = {2026},
  pages      = {69--76},
  doi        = {10.23919/FRUCT70069.2026.11506553},
  url        = {https://doi.org/10.23919/FRUCT70069.2026.11506553},
  isbn       = {978-952-65246-5-8},
}
```

ไฟล์รายการอ้างอิง: [ข้อความรูปแบบ APA](https://aogavrilov.com/publications/where-quality-breaks/citation-apa.txt) [ข้อความรูปแบบ IEEE](https://aogavrilov.com/publications/where-quality-breaks/citation-ieee.txt) [RIS](https://aogavrilov.com/publications/where-quality-breaks/citation.ris) [CSL-JSON](https://aogavrilov.com/publications/where-quality-breaks/citation.json) [Schema.org JSON-LD](https://aogavrilov.com/publications/where-quality-breaks/metadata.jsonld) [OAI-DC XML](https://aogavrilov.com/publications/where-quality-breaks/oai-dc.xml) [OpenAIRE v4 XML](https://aogavrilov.com/publications/where-quality-breaks/openaire.xml) [MODS XML](https://aogavrilov.com/publications/where-quality-breaks/mods.xml) [XML ข้อมูลอภิพันธุ์ JATS 1.4](https://aogavrilov.com/publications/where-quality-breaks/metadata.jats.xml) [เนื้อหาฉบับเต็มรูปแบบ JATS 1.4 XML](https://aogavrilov.com/publications/where-quality-breaks/full-text/article.jats.xml) [RDF Turtle](https://aogavrilov.com/publications/where-quality-breaks/metadata.ttl) [ชุดลิงก์ (JSON)](https://aogavrilov.com/publications/where-quality-breaks/linkset.json) [ชุดลิงก์ (HTTP)](https://aogavrilov.com/publications/where-quality-breaks/linkset) [RO-Crate](https://aogavrilov.com/publications/where-quality-breaks/ro-crate-metadata.json)

DOI: [https://doi.org/10.23919/FRUCT70069.2026.11506553](https://doi.org/10.23919/FRUCT70069.2026.11506553)

คู่มือฉบับเต็ม

## คู่มือวิจัยฉบับเต็ม

## วิธีการ

## 

บทความใช้ตัวประเมินตัวเดียวกันตลอดสามขั้นตอนการประเมิน เพื่อให้เชื่อมโยงการแปลงแต่ละขั้นที่เพิ่มเข้ามากับช่องว่างคุณภาพที่วัดได้

1. สร้างคืน เข้ารหัสตัวอย่าง TinyStories ขนาด 64 โทเคนแต่ละตัวอย่างเป็นรหัสระดับบน 16 รหัส แล้วถอดรหัสทันทีเพื่อวัดการสูญเสียจากการสร้างคืนของโคเดก
2. สร้าง ใช้ MDLM สร้างโทเคนข้อความหรือรหัสแฝงแบบไม่ต่อเนื่อง จากนั้นถอดรหัสตัวอย่างในปริภูมิรหัสผ่านโคเดกที่ฝึกแล้วตัวเดียวกัน
3. เปรียบเทียบ ประเมินคะแนนข้อความต้นฉบับ ผลการสร้างคืน และข้อความที่สร้างขึ้นด้วยโพรโทคอล GPT-2 ภายนอกเดียวกัน โดยรวมสถิติค่ามัธยฐานและบริเวณหาง

![ไปป์ไลน์การสร้างข้อความแบบบีบอัดเป็นลําดับขั้น ซึ่งเปรียบเทียบข้อความต้นฉบับ การสร้างคืนด้วยโคเดก MDLM ในปริภูมิโค้ด และข้อความที่ถอดรหัสแล้ว เพื่อแยกการสูญเสียจากโคเดกออกจากการสูญเสียจากการสร้าง](https://aogavrilov.com/publications/where-quality-breaks/staged-codec-bottleneck-localization.svg)

**การระบุคอขวดเป็นลําดับขั้นช่วยแยกการสูญเสียจากการสร้างคืนด้วยโคเดกออกจากการสูญเสียจากการสร้างในปริภูมิแฝง ภายใต้โพรโทคอลประเมินข้อความหลังถอดรหัสชุดเดียวกัน* แหล่งที่มา: [แผนภาพอธิบายที่ผู้เขียนจัดทําขึ้นจากวิธีการและผลลัพธ์ที่ตีพิมพ์](https://doi.org/10.23919/FRUCT70069.2026.11506553) . เงื่อนไขการนํากลับมาใช้: [CC BY 4.0](https://creativecommons.org/licenses/by/4.0/) . รูปแบบการอ้างถึงที่แนะนํา: Gavrilov, Gazzaev, and Muravyov (2026), Where Quality Breaks in Compressed Short-Text Generation. [ดาวน์โหลด SVG](https://aogavrilov.com/publications/where-quality-breaks/staged-codec-bottleneck-localization.svg) .*

### แนวคิดสําคัญ

ตัวสร้างในขั้นปลายไม่อาจกู้คืนข้อมูลที่โคเดกทิ้งไปแล้ว จึงต้องตรวจสอบขั้นการสร้างคืนก่อนตีความผลการสร้างในปริภูมิแฝง

### ความแตกต่างจากแนวทางที่ใกล้เคียง

การเปรียบเทียบแบบต้นทางถึงปลายทางมาตรฐานรายงานคะแนนการสร้างสุดท้ายเพียงค่าเดียว โพรโทคอลนี้เพิ่มจุดตรวจสอบการสร้างคืนแบบจับคู่ และแยกเมตริกสภาวะของปริภูมิแฝงออกจากหลักฐานบนข้อความที่ถอดรหัสแล้ว

### ส่วนใหม่ของงาน

ผลงานหลักคือระเบียบวิธีวินิจฉัยเป็นลําดับขั้นที่นํากลับมาใช้ได้ สําหรับไปป์ไลน์ข้อความบีบอัดที่เป็นรูปธรรมหนึ่งระบบ มิใช่อัลกอริทึมขจัดสัญญาณรบกวนแบบใหม่

## คําถามที่บทความนี้ช่วยตอบ

## 

เปิดคําถามเพื่ออ่านคําตอบโดยสังเขปที่อิงจากบทความ ขอบเขตของหลักฐานโดยละเอียดระบุไว้ในหัวข้อข้อจํากัด

1. คุณภาพสูญเสียไป ณ ขั้นใดในการสร้างข้อความสั้นแบบบีบอัด ในไปป์ไลน์ TinyStories แบบ 64 ต่อ 16 ที่ทดสอบ การเสื่อมคุณภาพส่วนใหญ่เกิดขึ้นในขั้นการสร้างคืนของโคเดก ก่อนเริ่มการสร้างในปริภูมิแฝง ค่ามัธยฐานของเพอร์เพล็กซิตีภายนอกที่วัดด้วย GPT-2 เพิ่มจาก 15.17 สําหรับข้อความต้นฉบับเป็น 27.36 หลังการสร้างคืน ขณะที่ p95 เพิ่มจาก 25.10 เป็น 98.91 ผลนี้ใช้กับการกําหนดค่าหนึ่งเท่านั้น มิใช่การจัดอันดับโคเดกที่ใช้ได้เป็นการทั่วไป
2. จะแยกการสูญเสียจากโคเดกออกจากการสูญเสียจากการสร้างในปริภูมิแฝงได้อย่างไร โพรโทคอลแบบแบ่งขั้นประเมินข้อความต้นฉบับ ผลการสร้างคืนด้วยโคเดกที่จับคู่กัน และข้อความที่สร้างในขั้นสุดท้ายด้วยตัวให้คะแนนภายนอกตัวเดียวกัน ช่องว่างระหว่างต้นฉบับกับผลการสร้างคืนใช้ประมาณส่วนที่เกิดจากโคเดก ส่วนการเปรียบเทียบผลการสร้างคืนกับผลลัพธ์ที่สร้างช่วยระบุตําแหน่งของความสูญเสียจากการสร้างที่เพิ่มขึ้นในขั้นการสร้าง ทั้งนี้รายงานตัวชี้วัดสุขภาวะของปริภูมิแฝงแยกจากหลักฐานของข้อความที่ถอดรหัส
3. ควรประเมินการสร้างข้อความผ่านตัวแปรแฝงแบบไม่ต่อเนื่องอย่างไร บทความเสนอให้ตรวจสอบความเที่ยงตรงของการสร้างคืนก่อนเปรียบเทียบตัวสร้าง ใช้ตัวให้คะแนนข้อความหลังถอดรหัสตัวเดียวกันในทุกขั้น และรายงานทั้งสถิติค่ากลางและสถิติบริเวณหาง นอกจากนี้ การใช้สมุดรหัส เรขาคณิต และตัวชี้วัดตัวแทนอื่นในปริภูมิแฝงควรใช้เพื่อการวินิจฉัย มิใช่ใช้แทนคุณภาพของข้อความหลังถอดรหัส
4. ดิฟฟิวชันในปริภูมิรหัสมีประสิทธิภาพเหนือกว่าดิฟฟิวชันในปริภูมิโทเคนหรือไม่ ภายใต้ตัวให้คะแนนร่วมและการตั้งค่าที่ทดสอบ MDLM ในปริภูมิโค้ดลดค่าเฉลี่ย ค่ามัธยฐาน และ p95 ของ perplexity ลง 32.9%, 30.9% และ 36.6% ตามลําดับ เมื่อเทียบกับ MDLM ในปริภูมิโทเค็น การเปรียบเทียบนี้เป็นเชิงพรรณนาและจําเพาะต่อการกําหนดค่า จึงมิได้ยืนยันลําดับความเหนือกว่าที่เป็นสากลข้ามชุดข้อมูล อัตราส่วนการบีบอัด โคเดก หรือสถาปัตยกรรมการแพร่
5. ตัวชี้วัดเรขาคณิตของปริภูมิแฝงที่ดีขึ้นรับประกันว่าข้อความที่สร้างจะดีขึ้นหรือไม่ ไม่ ในการรันแบบจับคู่ที่มีอยู่ การทําให้เป็นระเบียบโดยคํานึงถึงเรขาคณิตช่วยปรับปรุงองค์ประกอบชี้วัดแทนเฉพาะที่ในปริภูมิแฝง แต่ไม่ได้ทําให้ตัวชี้วัดของข้อความที่ถอดรหัสดีขึ้น ผลดังกล่าวสนับสนุนให้ตรวจสอบการปรับปรุงขององค์ประกอบชี้วัดแทนทุกครั้งที่ผลลัพธ์ถอดรหัสสุดท้าย และให้ถือว่าการไม่ถ่ายโอนเป็นผลลัพธ์เชิงลบที่มีประโยชน์ มิใช่หลักฐานว่าการสร้างดีขึ้น

## การเปรียบเทียบกับแนวทางที่ใกล้เคียง

## 

| แนวทาง | การแทนข้อมูล | การควบคุม / การวินิจฉัย | สิ่งที่คงไว้หรือวัดผล |
| --- | --- | --- | --- |
| การแพร่ในปริภูมิโทเค็น | โทเคนข้อความ | คุณภาพการสร้างในปริภูมิโทเคน | ความคล่องแคล่วและพฤติกรรมของตัวให้คะแนนในการสร้างโดยตรง |
| การสร้างตัวแปรแฝงแบบบีบอัด | รหัสแฝงแบบไม่ต่อเนื่องผ่านโคเดก | คุณภาพการสร้างแบบครบวงจรขั้นสุดท้าย | พฤติกรรมร่วมของโคเดกและตัวสร้างตัวแปรแฝง |
| การระบุตําแหน่งคอขวดเป็นลําดับขั้น | ข้อความ ผลการสร้างคืนด้วยโคเดก และตัวแปรแฝงไม่ต่อเนื่อง | แยกการสูญเสียจากโคเดกออกจากการสูญเสียจากการสร้าง | ตําแหน่งที่คุณภาพเสื่อมลงภายใต้ตัวให้คะแนนร่วมตัวเดียว |

การเปรียบเทียบนี้จําแนกขอบเขตการประเมินและหลักฐาน มิใช่การจัดอันดับแนวทางต่าง ๆ ที่ใช้ได้เป็นสากล

## ความเกี่ยวข้องและขอบเขต

## 

โพรโทคอลแบบแบ่งขั้นมีประโยชน์เมื่อสายงานการสร้างประกอบด้วยทั้งโคเดกที่เรียนรู้และตัวสร้างในปริภูมิแฝง แต่ยังไม่ชัดเจนว่าคุณภาพผลลัพธ์เสื่อมลงจากส่วนใด

1. การสร้างข้อความแบบบีบอัดและใช้ตัวแปรแฝงไม่ต่อเนื่อง
2. ความเที่ยงตรงของการสร้างคืนของโคเดกในไปป์ไลน์เชิงกําเนิด
3. การสร้างแบบจําลองภาษาด้วยการแพร่ชนิดปกปิดในปริภูมิโค้ด
4. การระบุตําแหน่งคอขวดและการประเมินที่สอดคล้องกันในแต่ละขั้น
5. การตรวจสอบการปรับปรุงตัวชี้วัดตัวแทนในปริภูมิแฝงเทียบกับข้อความที่ถอดรหัสแล้ว

## ข้อจํากัด

## 

- การศึกษาเชิงประจักษ์ใช้เฉพาะ TinyStories
- การวิเคราะห์หลักครอบคลุมระบอบการบีบอัดอย่างเข้มข้นจาก 64 เป็น 16 เพียงรูปแบบเดียว
- ระบบที่ประเมินประกอบด้วยโคเดกแบบลําดับชั้นตระกูล VQ-VAE-2 หนึ่งตระกูลและตัวสร้าง MDLM หนึ่งตัว
- การเปรียบเทียบอาศัยการรันเพียงครั้งเดียวและมีลักษณะเชิงพรรณนา มิใช่ค่าประมาณทางสถิติจากหลาย seed
- ค่า perplexity จาก GPT-2 ภายนอกเป็นเครื่องมือวินิจฉัยร่วม มิใช่ตัวชี้วัดคุณภาพเชิงความหมายที่ใช้ได้เป็นสากล
- ไม่ควรถ่ายโอนข้อสรุปเหล่านี้โดยตรงไปยังชุดข้อมูล สถาปัตยกรรมโคเดก หรืออัตราส่วนการบีบอัดทุกแบบ

## เอกสารอ้างอิงที่บทความนี้อ้างถึง

## 

รายการเหล่านี้ตรงกับส่วนเอกสารอ้างอิงที่มีหมายเลขในไฟล์ PDF ของบทความ

1. Subham Sekhar Sahoo, Marianne Arriola, Yair Schiff, Aaron Gokaslan, Edgar Marroquin, Justin T Chiu, Alexander Rush, Volodymyr Kuleshov. 2024 . [Simple and Effective Masked Diffusion Language Models](https://arxiv.org/abs/2406.07524) . Advances in Neural Information Processing Systems .
2. Aaron van den Oord, Oriol Vinyals, Koray Kavukcuoglu. 2017 . [Neural Discrete Representation Learning](https://arxiv.org/abs/1711.00937) . Advances in Neural Information Processing Systems .
3. Ali Razavi, Aaron van den Oord, Oriol Vinyals. 2019 . [Generating Diverse High-Fidelity Images with VQ-VAE-2](https://arxiv.org/abs/1906.00446) . Advances in Neural Information Processing Systems .
4. Jacob Austin, Daniel D. Johnson, Jonathan Ho, Daniel Tarlow, Rianne van den Berg. 2021 . [Structured Denoising Diffusion Models in Discrete State-Spaces](https://arxiv.org/abs/2107.03006) . Advances in Neural Information Processing Systems .
5. Aaron Lou, Chenlin Meng, Stefano Ermon. 2024 . [Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution](https://arxiv.org/abs/2310.16834) . Proceedings of the 41st International Conference on Machine Learning .
6. Xiaochuang Han, Sachin Kumar, Yulia Tsvetkov. 2023 . [SSD-LM: Semi-autoregressive Simplex-based Diffusion Language Model for Text Generation and Modular Control](https://doi.org/10.18653/v1/2023.acl-long.647) . Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics .
7. Xiang Lisa Li, John Thickstun, Ishaan Gulrajani, Percy Liang, Tatsunori B. Hashimoto. 2022 . [Diffusion-LM Improves Controllable Text Generation](https://arxiv.org/abs/2205.14217) . Advances in Neural Information Processing Systems .
8. Huiwen Chang, Han Zhang, Lu Jiang, Ce Liu, William T. Freeman. 2022 . [MaskGIT: Masked Generative Image Transformer](https://openaccess.thecvf.com/content/CVPR2022/html/Chang_MaskGIT_Masked_Generative_Image_Transformer_CVPR_2022_paper.html) . Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition .
9. Marjan Ghazvininejad, Omer Levy, Yinhan Liu, Luke Zettlemoyer. 2019 . [Mask-Predict: Parallel Decoding of Conditional Masked Language Models](https://doi.org/10.18653/v1/D19-1633) . Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing .
10. Emiel Hoogeboom, Didrik Nielsen, Priyank Jaini, Patrick Forré, Max Welling. 2021 . [Argmax Flows and Multinomial Diffusion: Learning Categorical Distributions](https://arxiv.org/abs/2102.05379) . Advances in Neural Information Processing Systems .
11. Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever. 2019 . [Language Models are Unsupervised Multitask Learners](https://cdn.openai.com/better-language-models/language-models.pdf) . OpenAI Technical Report .
12. Nils Reimers, Iryna Gurevych. 2019 . [Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks](https://doi.org/10.18653/v1/D19-1410) . Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing .
13. Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, Yoav Artzi. 2020 . [BERTScore: Evaluating Text Generation with BERT](https://arxiv.org/abs/1904.09675) . International Conference on Learning Representations .
14. Krishna Pillutla, Swabha Swayamdipta, Rowan Zellers, John Thickstun, Sean Welleck, Yejin Choi, Zaid Harchaoui. 2021 . [MAUVE: Measuring the Gap Between Neural Text and Human Text using Divergence Frontiers](https://arxiv.org/abs/2102.01454) . Advances in Neural Information Processing Systems .
15. Lianmin Zheng, Wei-Lin Chiang, Ying Sheng, Siyuan Zhuang, Zhanghao Wu, Yonghao Zhuang, Zi Lin, Zhuohan Li, Dacheng Li, Eric P. Xing, Hao Zhang, Joseph E. Gonzalez, Ion Stoica. 2023 . [Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena](https://arxiv.org/abs/2306.05685) . Advances in Neural Information Processing Systems, Datasets and Benchmarks Track .

## ทรัพยากรและความสามารถในการทําซ้ํา

## 

### คําชี้แจงข้อมูล

## รุ่น

## 

1. **ฉบับเผยแพร่** [IEEE / FRUCT, 2026](https://doi.org/10.23919/FRUCT70069.2026.11506553)
2. **ระเบียน arXiv** [เปิดระเบียนฉบับก่อนตีพิมพ์ arXiv:2607.24176](https://arxiv.org/abs/2607.24176)
3. **ดัชนีงานวิจัย AI** [หน้าเอกสารวิจัยบน Hugging Face ที่ยืนยันตัวตนผู้เขียนคนแรกและเชื่อมโยงบทสรุปผลลัพธ์ไว้แล้ว](https://huggingface.co/papers/2607.24176)
4. **ต้นฉบับของผู้เขียน** [PDF ภายในระบบที่เข้าถึงเนื้อหาได้](https://aogavrilov.com/publications/where-quality-breaks/paper.pdf)
5. **การบรรยายในที่ประชุมวิชาการ** [งานนําเสนอ FRUCT 39](https://www.youtube.com/watch?v=JExX7cxa63s)
6. **ดัชนีรายงานการประชุมวิชาการ** [เล่ม FRUCT 39 อย่างเป็นทางการ](https://fruct.org/publications/volume-39/fruct39)
7. **PDF รายงานการประชุมวิชาการ** [เนื้อหาฉบับเต็มแบบเปิดของ FRUCT](https://www.fruct.org/files/publications/volume-39/fruct39/Gav.pdf)
8. **เปิดระเบียนวิชาการ** [OpenAlex](https://openalex.org/W7160914887)
9. **ระเบียนกราฟการอ้างอิง** [Semantic Scholar](https://www.semanticscholar.org/paper/11b5a0e8f75f0dfd141659e9a82ac58982a65ce1)
10. **ฉบับเต็มที่ผู้เขียนเผยแพร่** [ResearchGate](https://www.researchgate.net/publication/404794122_Where_Quality_Breaks_in_Compressed_Short-Text_Generation_Staged_Bottleneck_Localization)

DOI ที่เผยแพร่เป็นตัวระบุทางบรรณานุกรมหลัก หน้านี้ยังคงเป็น URL มาตรฐานเพียงแห่งเดียวของโครงการในทุกเวอร์ชัน

## สิ่งพิมพ์ที่เกี่ยวข้อง

- [Inspectable Control for Structure-Preserving Software Regeneration](https://aogavrilov.com/th/publications/inspectable-control/)

อ่าน [การวินิจฉัยคอขวดของโคเดก](https://aogavrilov.com/th/projects/codec-bottleneck-diagnosis/) คู่มือการวิจัย [เกี่ยวกับผู้เขียน](https://aogavrilov.com/about/) .

### บันทึกวิจัยเฉพาะประเด็น

คําตอบที่จําเพาะต่อเจตนา พร้อมระบุขอบเขตของหลักฐานและเชื่อมโยงกลับมายังบทความนี้

- [การแพร่ที่มีการมาสก์ในปริภูมิรหัสเทียบกับปริภูมิโทเคน: วิธีเปรียบเทียบ](https://aogavrilov.com/th/research-notes/code-space-vs-token-space-masked-diffusion/)