# แนวทางระบุว่าความล้มเหลวของตัวสร้างข้อความแบบบีบอัดเกิดขึ้นที่โคเดกหรือตัวสร้าง

Canonical HTML: https://aogavrilov.com/th/projects/codec-bottleneck-diagnosis/

Document language: th

แนวทางวินิจฉัยเชิงปฏิบัติสําหรับระบบสองขั้นที่บีบอัดข้อความเป็นรหัสไม่ต่อเนื่องก่อน แล้วจึงสร้างในปริภูมิรหัส เป้าหมายคือระบุว่าขั้นใดจํากัดผลลัพธ์ที่ถอดรหัสแล้ว ก่อนใช้ทรัพยากรคํานวณกับองค์ประกอบที่ไม่ใช่ต้นเหตุ

เผยแพร่แล้ว 29 กรกฎาคม 2026 ปรับปรุงล่าสุด 30 กรกฎาคม 2026 [Alexey Gavrilov](https://aogavrilov.com/about/)

## คําตอบโดยสังเขป

ประเมินคะแนนข้อความต้นฉบับ ผลการสร้างคืนด้วยตัวเข้ารหัส–ถอดรหัสที่จับคู่กัน และข้อความสุดท้ายที่สร้างขึ้นด้วยตัวประเมินภายนอกตัวเดียวกัน ช่องว่างระหว่างต้นฉบับกับผลการสร้างคืนใช้วัดเพดานคุณภาพที่ถูกกําหนดไว้ก่อนขั้นตอนการสร้าง จากนั้นช่องว่างระหว่างผลการสร้างคืนกับผลการสร้างจะแยกความเสื่อมถอยเพิ่มเติมที่เกิดจากตัวสร้างในปริภูมิแฝงออกมา

**อย่าใช้ตัวชี้วัดตัวแทนในปริภูมิแฝงแทนผลลัพธ์ที่ถอดรหัสแล้ว** เรขาคณิต การใช้ประโยชน์ หรือเซตค้ําจุนของสมุดรหัสที่ดีขึ้นอาจเป็นเครื่องมือวินิจฉัยที่มีประโยชน์ แต่จะยืนยันการยกระดับคุณภาพได้ก็ต่อเมื่อข้อความที่ถอดรหัสแล้วดีขึ้นตามเมตริกปลายทางที่เกี่ยวข้อง

## การวินิจฉัยด้วยจุดตรวจสี่จุด

1. กําหนดจุดอ้างอิง ประเมินคะแนนข้อความต้นฉบับในชุดพักไว้ด้วยตัวประเมินภายนอกตัวเดียวกับที่ใช้ในทุกขั้นตอนต่อมา
2. วัดผลการสร้างใหม่ด้วยตัวแปลงสัญญาณ เข้ารหัสและถอดรหัสตัวอย่างชุดเดิมโดยไม่มีการสร้าง ขั้นตอนนี้เผยให้เห็นข้อมูลที่สูญหาย ณ จุดคอขวด
3. วัดผลการสร้างในปริภูมิแฝง สร้างรหัส ถอดรหัส แล้วให้คะแนนข้อความผลลัพธ์ด้วยตัวประเมินเดิมที่ไม่เปลี่ยนแปลง
4. ตรวจสอบการถ่ายโอนของตัวชี้วัดตัวแทน เปรียบเทียบผลวินิจฉัยตัวแปรแฝงกับตัวชี้วัดสุดท้ายของข้อความที่ถอดรหัสแล้ว แทนการอนุมานว่าการปรับดีขึ้นของตัวชี้วัดตัวแทนจะถ่ายทอดไปยังผลลัพธ์สุดท้าย

## แนวทางตีความช่องว่างระหว่างแต่ละขั้น

| รูปแบบที่สังเกตได้ | คอขวดที่เป็นไปได้มากที่สุด | การทดลองถัดไป |
| --- | --- | --- |
| ต้นฉบับได้คะแนนดี แต่ผลการสร้างใหม่เสื่อมลงอย่างมาก | ความเที่ยงตรงของโคเดก | ปรับปรุงการสร้างคืนหรือลดระดับการบีบอัดก่อนปรับจูนตัวสร้าง |
| ผลการสร้างคืนยังคงมีคุณภาพสูง แต่ผลลัพธ์ที่สร้างขึ้นมีคุณภาพถดถอย | ตัวสร้างในปริภูมิแฝง | ตรวจสอบการขจัดสัญญาณรบกวน การสุ่มตัวอย่าง การกําหนดเงื่อนไข และความไม่สอดคล้องของการแจกแจงโค้ด |
| ตัวชี้วัดตัวแทนในปริภูมิแฝงดีขึ้น แต่ตัวชี้วัดหลังถอดรหัสยังคงที่ | การถ่ายโอนของตัวชี้วัดแทน | ประเมินอีกครั้งว่าตัวชี้วัดแทนติดตามคุณสมบัติปลายทางที่สนใจได้หรือไม่ |
| ทุกขั้นตอนได้คะแนนต่ํา | ข้อมูล ตัวประเมิน หรือการจัดเตรียมการทดลอง | ตรวจสอบการแจกแจงอ้างอิงและตัวให้คะแนนก่อนสรุปว่าความล้มเหลวเกิดจากแบบจําลอง |

## ข้อค้นพบจากกรณีศึกษา TinyStories ที่ตีพิมพ์

ใน [*จุดที่คุณภาพลดลงในการสร้างข้อความสั้นแบบบีบอัด: การระบุคอขวดเป็นลําดับขั้น*](https://aogavrilov.com/th/publications/where-quality-breaks/) , ข้อความขนาด 64 โทเค็นถูกบีบอัดเป็นรหัสระดับบน 16 รหัสด้วย VQ-VAE-2 แบบลําดับชั้น เมื่อประเมินด้วยตัวให้คะแนน GPT-2 ภายนอกหนึ่งตัว ค่ามัธยฐานของเพอร์เพล็กซิตีเพิ่มขึ้นจาก **15.17** สําหรับข้อความต้นฉบับเป็น **27.36** สําหรับผลการสร้างคืนของโคเดก ขณะที่ p95 เพิ่มขึ้นจาก **25.10** ไปยัง **98.91** .

### การสร้างแบบจําลองภาษาด้วยการแพร่ที่มีการมาสก์ในปริภูมิรหัสเทียบกับปริภูมิโทเคน

ช่องว่างของการสร้างคืนเป็นปัจจัยหลักในไปป์ไลน์ที่ทดสอบ ภายใต้เพดานดังกล่าว การสร้างแบบจําลองภาษาด้วยการแพร่ที่มีการมาสก์ในปริภูมิโค้ด (MDLM) ยังคงให้ผลดีกว่า MDLM ในปริภูมิโทเคนเมื่อใช้ตัวประเมินร่วมกัน โดยค่ามัธยฐานของเพอร์เพล็กซิตีคือ **26.55** เทียบกับ **38.42** , ลดลง 30.9%

การทําเรกิวลาไรเซชันที่คํานึงถึงเรขาคณิตช่วยให้ตัวชี้วัดตัวแทนเฉพาะที่ในปริภูมิแฝงดีขึ้นในการทดลองจับคู่ที่มีอยู่ แต่ไม่ได้ทําให้ตัวชี้วัดของข้อความที่ถอดรหัสแล้วดีขึ้น ผลการถ่ายโอนเชิงลบนี้เป็นส่วนหนึ่งของการวินิจฉัย มิใช่หลักฐานว่าตัวเรกิวลาไรเซอร์ทําให้ข้อความขั้นสุดท้ายดีขึ้น

## สิ่งที่ควรวัดในทุกขั้น

## คําถามวิจัยที่คู่มือนี้ตอบ

คําตอบโดยสังเขปเหล่านี้เชื่อมโยงคําถามวินิจฉัยที่พบบ่อยเข้ากับหลักฐานที่วัดได้ในแต่ละขั้น

1. ในการทดลองข้อความที่รายงานไว้ การแพร่แบบปิดบังในปริภูมิโค้ดเปรียบเทียบกับในปริภูมิโทเคนเป็นอย่างไร ภายใต้ตัวให้คะแนนภายนอกเดียวกัน MDLM ในปริภูมิโค้ดมีค่ามัธยฐาน perplexity เท่ากับ 26.55 เทียบกับ 38.42 ของเส้นฐานในปริภูมิโทเค็น ซึ่งลดลง 30.9% อย่างไรก็ตาม ค่ามัธยฐานของการสร้างคืนด้วยโคเดกอยู่ที่ 27.36 แล้ว จึงต้องตีความผลลัพธ์ควบคู่กับคอขวดในการสร้างคืน [ตรวจสอบค่าตัวเลขที่รายงานแยกตามขั้น](https://aogavrilov.com/th/projects/codec-bottleneck-diagnosis/#code-space-vs-token-space) .
2. เมื่อโคเดกมีการสูญเสียข้อมูล ควรเปรียบเทียบการแพร่แบบไม่ต่อเนื่องชนิดปิดบังในปริภูมิโค้ดกับปริภูมิโทเคนอย่างไร ใช้ตัวอย่างกันไว้และตัวให้คะแนนข้อความที่ถอดรหัสชุดเดียวกันสําหรับต้นฉบับ ผลการสร้างคืนด้วยโคเดก ผลลัพธ์ในปริภูมิโทเค็น และผลลัพธ์ในปริภูมิโค้ด ควรรายงานช่องว่างจากการสร้างคืนแยกต่างหาก เพราะตัวสร้างในปริภูมิแฝงที่ทรงพลังกว่าไม่อาจกู้ข้อมูลที่โคเดกตัดทิ้งไปแล้ว [เปรียบเทียบแต่ละขั้นด้วยตัวประเมินเดียวกัน](https://aogavrilov.com/th/projects/codec-bottleneck-diagnosis/#code-space-vs-token-space) .
3. จะวินิจฉัยการสูญเสียคุณภาพในตัวสร้างข้อความสองขั้นตอนได้อย่างไร วัดช่องว่างจากต้นฉบับถึงผลการสร้างใหม่ก่อนช่องว่างจากผลการสร้างใหม่ถึงผลการสร้าง โดยใช้ตัวประเมินข้อความที่ถอดรหัสแล้วตัวเดียวกันและไม่เปลี่ยนแปลง วิธีนี้แยกเพดานคุณภาพที่ตัวแปลงสัญญาณกําหนดออกจากการเสื่อมคุณภาพเพิ่มเติมที่เกิดจากการสร้างในปริภูมิแฝง [ดําเนินการวินิจฉัยตามจุดตรวจสอบสี่จุด](https://aogavrilov.com/th/projects/codec-bottleneck-diagnosis/#workflow) .
4. เมื่อใดที่ตัวชี้วัดปริภูมิแฝงซึ่งดีขึ้นอาจไม่ช่วยปรับปรุงผลลัพธ์ที่ถอดรหัส ตัวชี้วัดตัวแทนในปริภูมิแฝงอาจดีขึ้นโดยไม่ได้ติดตามสมบัติปลายน้ําที่สนใจ ควรทดสอบการถ่ายโอนด้วยการถอดรหัสผลลัพธ์ที่จับคู่กันและประเมินด้วยเมตริกปลายทางเดียวกัน มิฉะนั้นเรขาคณิตหรือการใช้ประโยชน์จากสมุดรหัสยังคงเป็นเพียงหลักฐานเชิงวินิจฉัย มิใช่คุณภาพข้อความที่เพิ่มขึ้น [ใช้การวินิจฉัยการถ่ายโอนตัวแทนวัด](https://aogavrilov.com/th/projects/codec-bottleneck-diagnosis/#decision-table) .

## ข้อผิดพลาดที่พบบ่อยในการวินิจฉัย

### การเปรียบเทียบเฉพาะผลลัพธ์สุดท้าย

คะแนนแบบต้นทางถึงปลายทางไม่สามารถระบุได้ว่าตัวแทนหรือตัวสร้างเป็นสาเหตุของการสูญเสีย

### การเปลี่ยนตัวประเมินระหว่างขั้น

การใช้ตัวประเมินต่างกันทําให้ไม่สามารถเปรียบเทียบช่องว่างระหว่างขั้นตอนได้ และลดความน่าเชื่อถือของการระบุเหตุเชิงสาเหตุ

### การเรียกสภาวะของสมุดรหัสว่า ‘คุณภาพข้อความ’

การใช้งานที่อยู่ในเกณฑ์ดีอาจเกิดร่วมกับผลการสร้างคืนที่ไม่ดีหรือผลการสร้างที่ถอดรหัสแล้วซึ่งมีคุณภาพต่ํา

### การสรุปข้ามจากระบอบการบีบอัดเพียงแบบเดียว

หลักฐานที่เผยแพร่ครอบคลุมการตั้งค่า TinyStories แบบ 64 ต่อ 16 เพียงหนึ่งแบบ และการรันเดี่ยวเชิงพรรณนา

## ภูมิหลังหลัก

แหล่งข้อมูลเหล่านี้นิยามชุดข้อมูลและตระกูลแบบจําลองที่การศึกษาวินิจฉัยอ้างถึง

1. [Neural Discrete Representation Learning](https://arxiv.org/abs/1711.00937) นําเสนอ VQ-VAE และคอขวดแบบไม่ต่อเนื่องที่เรียนรู้ได้ ซึ่งตัวสร้างในปริภูมิแฝงรุ่นต่อมาได้นําไปใช้
2. [Generating Diverse High-Fidelity Images with VQ-VAE-2](https://arxiv.org/abs/1906.00446) พัฒนาตัวแทนไม่ต่อเนื่องเชิงลําดับชั้นที่แยกระดับของรหัสออกจากกัน
3. [TinyStories: How Small Can Language Models Be and Still Speak Coherent English?](https://arxiv.org/abs/2305.07759) นําเสนอคลังเรื่องสั้นสังเคราะห์ที่ใช้ในกรณีศึกษาเชิงวินิจฉัย
4. [Simple and Effective Masked Diffusion Language Models](https://arxiv.org/abs/2406.07524) นําเสนอสูตรการแพร่แบบไม่ต่อเนื่องที่มีมาสก์ซึ่งใช้กับตัวสร้างในปริภูมิแฝง

## ขอบเขตของหลักฐาน

วิธีการแบบแบ่งขั้นสามารถนํากลับมาใช้ได้ แต่ลําดับผลที่รายงานมิได้เป็นสากล การทดลองที่ตีพิมพ์ใช้ TinyStories รูปแบบการบีบอัดอย่างเข้มข้นหนึ่งรูปแบบ ตระกูลโคเดกแบบลําดับชั้นหนึ่งตระกูล ตัวสร้างแบบไม่ต่อเนื่องชนิดปกปิดหนึ่งตัว และการรันครั้งเดียวเพื่อการพรรณนา ควรใช้โพรโทคอลวินิจฉัยกับระบบใหม่ และไม่ควรนําข้อสรุปเชิงตัวเลขไปใช้กับบริบทอื่นโดยตรง

## สิ่งพิมพ์ที่เกี่ยวข้อง

### [Where Quality Breaks in Compressed Short-Text Generation: Staged Bottleneck Localization](https://aogavrilov.com/th/publications/where-quality-breaks/)

จุดที่คุณภาพลดลงในการสร้างข้อความสั้นแบบบีบอัด: การระบุคอขวดเป็นลําดับขั้น

ระเบียบวิธีการวินิจฉัย FRUCT 39 2026 การประชุมวิชาการหลัก

### [Inspectable Control for Structure-Preserving Software Regeneration](https://aogavrilov.com/th/publications/inspectable-control/)

การควบคุมที่ตรวจสอบได้สําหรับการสร้างซอฟต์แวร์ขึ้นใหม่โดยคงโครงสร้าง

วิธีควบคุมในปริภูมิแฝง FSE Companion '26 2026 โปสเตอร์ประกอบ