# การแพร่ที่มีการมาสก์ในปริภูมิรหัสเทียบกับปริภูมิโทเคน: วิธีเปรียบเทียบ

Canonical HTML: https://aogavrilov.com/th/research-notes/code-space-vs-token-space-masked-diffusion/

Document language: th

บันทึกการวิจัย

โพรโทคอลเปรียบเทียบแบบจําลองภาษาการแพร่ชนิดมาสก์ในปริภูมิรหัสกับปริภูมิโทเค็น โดยใช้เกณฑ์ที่สอดคล้องกันทุกขั้น เมื่อโคเดกแบบไม่ต่อเนื่องมีการสูญเสียข้อมูล

เผยแพร่แล้ว 30 กรกฎาคม 2026 [Alexey Gavrilov](https://aogavrilov.com/about/)

คําตอบโดยตรง

## ควรเปรียบเทียบการจําลองภาษาแบบการแพร่ชนิดปิดบังในปริภูมิโค้ดกับในปริภูมิโทเคนอย่างไร

ประเมินข้อความต้นฉบับ ผลการสร้างคืนของโคเดก ผลลัพธ์จากปริภูมิโทเคน และผลลัพธ์จากปริภูมิรหัสที่ถอดรหัสแล้วด้วยตัวให้คะแนนภายนอกและกระบวนการเตรียมข้อมูลชุดเดียวกัน พร้อมรายงานช่องว่างจากการสร้างคืนของโคเดกแยกต่างหาก เพราะการสร้างในปริภูมิรหัสไม่อาจกู้คืนข้อมูลที่โคเดกตัดทิ้งไปแล้ว

## เหตุผลที่ความแตกต่างนี้สําคัญ

วิธีการและหลักประกันที่กล่าวอ้างต้องอ้างอิงขอบเขตที่สังเกตได้เดียวกัน

แบบจําลองในปริภูมิโทเค็นสร้างโทเค็นข้อความโดยตรง ส่วนแบบจําลองในปริภูมิรหัสจะสร้างรหัสแฝงไม่ต่อเนื่องก่อน แล้วอาศัยตัวถอดรหัสกู้คืนข้อความ ผลลัพธ์สุดท้ายของทั้งสองแบบเปรียบเทียบกันได้ แต่ไปป์ไลน์ในปริภูมิรหัสมีจุดล้มเหลวเพิ่มอีกหนึ่งจุด กล่าวคือ การสูญเสียจากการสร้างคืนอาจลดเพดานคุณภาพก่อนเริ่มการสร้างในปริภูมิแฝง

การเปรียบเทียบที่เป็นธรรมจึงต้องตอบสองคําถาม มิใช่คําถามเดียว ขั้นแรกให้ถามว่าตัวแปลงสัญญาณรักษาคุณภาพไว้ได้เพียงใดเมื่อไม่มีการสร้าง จากนั้นจึงถามว่าตัวสร้างแต่ละตัวก่อให้เกิดการสูญเสียเพิ่มเติมเท่าใดภายใต้โพรโทคอลประเมินข้อความที่ถอดรหัสแล้วชุดเดียวกันโดยไม่เปลี่ยนแปลง

## กระบวนการเชิงปฏิบัติ

1. กําหนดเส้นฐานของต้นฉบับ ประเมินคะแนนข้อความต้นทางในชุดพักไว้ด้วยตัวประเมินและกระบวนการเตรียมข้อมูลที่จะใช้ในทุกขั้นตอนต่อมา
2. วัดผลการสร้างใหม่ก่อนวัดผลการสร้าง เข้ารหัสและถอดรหัสตัวอย่างชุดเดิมโดยไม่สุ่มรหัสใหม่ เพื่อแยกเพดานสมรรถนะที่เกิดจากโคเดกโดยเฉพาะ
3. ประเมินปริภูมิการสร้างทั้งสองหลังการถอดรหัส ประเมินตัวอย่างในปริภูมิโทเคนโดยตรง และถอดรหัสตัวอย่างในปริภูมิโค้ดก่อนประเมิน อย่าเปรียบเทียบตัวชี้วัดแทนในปริภูมิแฝงกับเมตริกของข้อความที่ถอดรหัสแล้ว
4. รายงานการแจกแจงและความไม่แน่นอน แสดงค่ามัธยฐาน พฤติกรรมบริเวณหาง จํานวนตัวอย่าง การประมวลผลล่วงหน้า และความไม่แน่นอนจากการรันซ้ํา ค่าเฉลี่ยเพียงค่าเดียวอาจบดบังความล้มเหลวร้ายแรงของการสร้างคืน

## หลักฐานที่ต้องกําหนดให้มี

ความหนักแน่นของข้ออ้างขึ้นอยู่กับสมบัติที่วัดภายหลังการสร้างหรือการถอดรหัส

- ใช้ตัวประเมินข้อความที่ถอดรหัสแล้วจากภายนอกและกระบวนการประมวลผลล่วงหน้าชุดเดียวกัน ณ ทุกจุดตรวจสอบ
- รายงานผลของต้นฉบับ การสร้างคืน ปริภูมิโทเคน และปริภูมิโค้ดที่ถอดรหัสแล้วแยกจากกัน
- ช่องว่างของการสร้างคืนด้วยโคเดกไม่ได้ถูกนับว่าเกิดจากตัวสร้างในปริภูมิแฝง
- การเปรียบเทียบค่าเฉลี่ยทุกครั้งควรรายงานค่ามัธยฐานและพฤติกรรมบริเวณหางร่วมด้วย
- รายงานซีดหรือค่าประมาณความไม่แน่นอนก่อนอนุมานความแตกต่างเพียงเล็กน้อยไปเป็นข้อสรุปทั่วไป

### สิ่งที่งานวิจัยซึ่งเชื่อมโยงไว้รายงาน

- ในการตั้งค่า TinyStories แบบ 64 ต่อ 16 ที่รายงานไว้ เฉพาะการสร้างคืนของโคเดกก็ทําให้ค่ามัธยฐานของเพอร์เพล็กซิตีภายนอกเพิ่มจาก 15.17 เป็น 27.36
- ภายใต้ตัวให้คะแนนเดียวกัน MDLM ในปริภูมิโค้ดมีค่ามัธยฐาน perplexity 26.55 ขณะที่เส้นฐานในปริภูมิโทเค็นอยู่ที่ 38.42 คิดเป็นการลดลง 30.9% สําหรับการสร้างในปริภูมิโค้ดในการทดลองนั้น
- การทําเรกิวลาไรเซชันที่คํานึงถึงเรขาคณิตช่วยให้ผลวินิจฉัยเฉพาะที่ในปริภูมิแฝงดีขึ้นในการทดลองจับคู่ที่มีอยู่ แต่ไม่ได้ทําให้ตัวชี้วัดของข้อความที่ถอดรหัสแล้วดีขึ้น

[อ่านภาพรวมสิ่งพิมพ์](https://aogavrilov.com/th/publications/where-quality-breaks/) [ค้นหาในเนื้อหาฉบับเต็มของบทความ](https://aogavrilov.com/publications/where-quality-breaks/full-text/)

## ขอบเขตของการศึกษา

- ตัวเลขเหล่านี้อธิบายรูปแบบการบีบอัด TinyStories หนึ่งรูปแบบ โคเดกแบบลําดับชั้นหนึ่งชุด และการตั้งค่าการประเมินที่รายงาน มิได้ยืนยันลําดับความเหนือกว่าที่เป็นสากลระหว่างแบบจําลองในปริภูมิโค้ดกับปริภูมิโทเค็น
- ค่าความฉงนให้ข้อมูลที่เป็นประโยชน์ แต่ไม่ใช่มาตรวัดที่ครอบคลุมคุณภาพเชิงความหมาย ความหลากหลาย ความถูกต้องตามข้อเท็จจริง หรือประโยชน์ใช้สอย
- ควรตีความการเปรียบเทียบที่มีอยู่โดยคํานึงถึงขนาดตัวอย่างและข้อจํากัดด้านความไม่แน่นอนตามที่ระบุไว้

## แหล่งข้อมูลหลักและงานที่เกี่ยวข้อง

โปรดอ้างอิงบทความที่เชื่อมโยงไว้สําหรับวิธีการดั้งเดิม การวัด และข้อจํากัดที่ระบุ

1. [Where Quality Breaks in Compressed Short-Text Generation](https://aogavrilov.com/th/publications/where-quality-breaks/) บทความหลักและผลการวัดที่รายงานแยกตามขั้นตอน
2. [Simple and Effective Masked Diffusion Language Models](https://arxiv.org/abs/2406.07524) สูตรการแพร่แบบไม่ต่อเนื่องชนิดปกปิดที่เครื่องสร้างในปริภูมิแฝงใช้
3. [Neural Discrete Representation Learning](https://arxiv.org/abs/1711.00937) วิธีการพื้นฐานสําหรับเรียนรู้การแทนแบบไม่ต่อเนื่อง

ดูแลโดย Alexey Gavrilov . หน้านี้สรุปหลักฐานที่มีอยู่และไม่ได้เพิ่มผลการทดลองใดนอกเหนือจากแหล่งอ้างอิง