# Khuếch tán che mặt nạ trong không gian mã và không gian token: cách so sánh

Canonical HTML: https://aogavrilov.com/vi/research-notes/code-space-vs-token-space-masked-diffusion/

Document language: vi

GHI CHÚ NGHIÊN CỨU

Quy trình so sánh nhất quán theo giai đoạn cho các mô hình ngôn ngữ khuếch tán có che mặt nạ trong không gian mã và không gian token khi codec rời rạc gây mất mát.

Đã công bố Ngày 30 tháng 7 năm 2026 [Alexey Gavrilov](https://aogavrilov.com/about/)

TRẢ LỜI TRỰC TIẾP

## Nên so sánh mô hình hóa ngôn ngữ bằng khuếch tán có che mặt nạ trong không gian mã và không gian token như thế nào?

Đánh giá văn bản nguồn, các bản tái dựng bằng codec, đầu ra trong không gian token và đầu ra không gian mã đã giải mã bằng cùng một bộ chấm điểm ngoài và cùng quy trình tiền xử lý. Báo cáo riêng chênh lệch tái dựng bằng codec: việc sinh trong không gian mã không thể khôi phục thông tin mà codec đã loại bỏ.

## Vì sao sự phân biệt này quan trọng

Phương pháp và bảo đảm được tuyên bố phải dựa trên cùng một ranh giới có thể quan sát.

Mô hình trong không gian token sinh trực tiếp các token văn bản. Mô hình trong không gian mã trước hết sinh các mã tiềm ẩn rời rạc, rồi dựa vào bộ giải mã để khôi phục văn bản. Có thể so sánh đầu ra cuối của chúng, nhưng quy trình trong không gian mã có thêm một điểm có thể thất bại: tổn thất tái dựng có thể hạ thấp trần chất lượng trước khi quá trình sinh trong không gian tiềm ẩn bắt đầu.

Do đó, một phép so sánh công bằng cần hai câu hỏi thay vì một. Trước hết, hãy hỏi codec bảo toàn được bao nhiêu chất lượng khi chưa thực hiện sinh. Sau đó, hãy hỏi mỗi bộ sinh gây thêm bao nhiêu tổn thất dưới cùng một quy trình đánh giá văn bản đã giải mã không đổi.

## Quy trình thực hiện

1. Thiết lập đường cơ sở từ nguồn Chấm điểm các văn bản nguồn thuộc tập giữ lại bằng bộ đánh giá và quy trình tiền xử lý sẽ được dùng ở mọi giai đoạn tiếp theo.
2. Đo lường tái dựng trước khi đo lường sinh Mã hóa rồi giải mã chính các mẫu đó mà không lấy mẫu mã mới. Cách làm này cô lập mức trần do codec áp đặt.
3. Đánh giá cả hai không gian sinh sau khi giải mã Chấm điểm trực tiếp các mẫu trong không gian token và giải mã các mẫu trong không gian mã trước khi chấm điểm. Không so sánh một chỉ báo thay thế trong không gian ẩn với một thước đo trên văn bản đã giải mã.
4. Báo cáo phân phối và độ bất định Trình bày trung vị và hành vi ở phần đuôi phân phối, số lượng mẫu, bước tiền xử lý và độ bất định qua các lần chạy lặp lại. Một giá trị trung bình duy nhất có thể che khuất những lỗi tái dựng nghiêm trọng.

## Bằng chứng cần có

Độ vững của một khẳng định chỉ tương xứng với thuộc tính được đo sau khi sinh hoặc giải mã.

- Cùng một bộ đánh giá văn bản đã giải mã bên ngoài và cùng quy trình tiền xử lý được sử dụng tại mọi điểm kiểm tra.
- Kết quả của nguồn, tái dựng, không gian token và không gian mã đã giải mã được báo cáo riêng biệt.
- Khoảng chênh lệch tái dựng codec không được quy cho bộ sinh trong không gian ẩn.
- Mọi phép so sánh giá trị trung bình đều phải kèm theo trung vị và hành vi ở phần đuôi phân phối.
- Các seed hoặc ước lượng độ bất định được báo cáo trước khi khái quát hóa những khác biệt nhỏ.

### Kết quả được báo cáo trong nghiên cứu liên kết

- Trong cấu hình TinyStories nén từ 64 xuống 16 được báo cáo, riêng quá trình tái dựng codec đã làm perplexity ngoại sinh trung vị tăng từ 15.17 lên 27.36.
- Với cùng bộ chấm điểm, MDLM trong không gian mã đạt perplexity trung vị 26.55, còn đường cơ sở trong không gian token đạt 38.42; trong thí nghiệm đó, quá trình sinh trong không gian mã giảm 30.9%.
- Chính quy hóa có xét đến hình học đã cải thiện các chỉ báo chẩn đoán tiềm ẩn cục bộ trong những lượt chạy đối sánh hiện có, nhưng không cải thiện các chỉ số của văn bản đã giải mã.

[Đọc tổng quan công bố](https://aogavrilov.com/vi/publications/where-quality-breaks/) [Tìm kiếm trong toàn văn bài báo](https://aogavrilov.com/publications/where-quality-breaks/full-text/)

## Giới hạn phạm vi

- Các con số này mô tả một chế độ nén TinyStories, một codec phân cấp và thiết lập đánh giá đã báo cáo; chúng không xác lập thứ tự phổ quát giữa mô hình trong không gian mã và mô hình trong không gian token.
- Độ hỗn loạn cung cấp thông tin hữu ích nhưng không phải thước đo đầy đủ về chất lượng ngữ nghĩa, tính đa dạng, tính xác thực hay mức độ hữu dụng.
- Cần diễn giải các phép so sánh hiện có trong khuôn khổ cỡ mẫu và các hạn chế về độ bất định đã nêu.

## Nguồn chính và các nguồn liên quan trực tiếp

Hãy tham khảo các bài báo được liên kết để biết phương pháp gốc, phép đo và những hạn chế đã nêu.

1. [Where Quality Breaks in Compressed Short-Text Generation](https://aogavrilov.com/vi/publications/where-quality-breaks/) Bài báo chính và các phép đo được báo cáo theo từng giai đoạn.
2. [Simple and Effective Masked Diffusion Language Models](https://arxiv.org/abs/2406.07524) Công thức khuếch tán rời rạc có che được bộ sinh tiềm ẩn sử dụng.
3. [Neural Discrete Representation Learning](https://arxiv.org/abs/1711.00937) Phương pháp nền tảng học biểu diễn rời rạc.

Được duy trì bởi Alexey Gavrilov . Trang này tổng hợp bằng chứng hiện có và không bổ sung kết quả thực nghiệm nào ngoài các nguồn được trích dẫn.