# Cách xác định lỗi của mô hình sinh văn bản nén nằm ở codec hay ở bộ sinh

Canonical HTML: https://aogavrilov.com/vi/research/codec-bottleneck-diagnosis/

Document language: vi

Một quy trình chẩn đoán thực tiễn cho hệ thống hai giai đoạn: trước tiên nén văn bản thành mã rời rạc, sau đó sinh trong không gian mã. Mục tiêu là xác định giai đoạn nào giới hạn đầu ra đã giải mã trước khi tiêu tốn tài nguyên tính toán cho sai thành phần.

Đã công bố Ngày 29 tháng 7 năm 2026 Đã cập nhật Ngày 30 tháng 7 năm 2026 [Alexey Gavrilov](https://aogavrilov.com/about/)

## Câu trả lời ngắn gọn

Chấm điểm văn bản gốc, bản tái dựng codec tương ứng và văn bản cuối cùng được sinh bằng cùng một bộ đánh giá bên ngoài. Khoảng cách từ bản gốc đến bản tái dựng đo lường trần chất lượng bị áp đặt trước giai đoạn sinh. Sau đó, khoảng cách từ bản tái dựng đến văn bản được sinh giúp tách riêng phần suy giảm bổ sung do bộ sinh tiềm ẩn gây ra.

**Không dùng chỉ số đại diện trong không gian tiềm ẩn để thay thế đầu ra đã giải mã.** Hình học, mức sử dụng hoặc miền hỗ trợ của bảng mã tốt hơn có thể là tín hiệu chẩn đoán hữu ích, nhưng chỉ xác lập mức cải thiện chất lượng khi văn bản đã giải mã tốt hơn theo các thước đo cuối có liên quan.

## Quy trình chẩn đoán với bốn điểm kiểm tra

1. Thiết lập mốc tham chiếu Chấm điểm các văn bản gốc thuộc tập giữ lại bằng bộ đánh giá bên ngoài được dùng cho mọi giai đoạn tiếp theo.
2. Đo lường khả năng tái dựng bằng codec Mã hóa rồi giải mã chính các mẫu đó mà không thực hiện sinh. Qua đó có thể nhận diện thông tin bị mất tại nút thắt cổ chai.
3. Đo lường quá trình sinh tiềm ẩn Sinh các mã, giải mã chúng rồi chấm điểm văn bản thu được bằng bộ đánh giá không thay đổi.
4. Kiểm định khả năng chuyển giao của chỉ báo thay thế So sánh các chỉ báo chẩn đoán tiềm ẩn với chỉ số cuối cùng trên văn bản đã giải mã, thay vì mặc nhiên cho rằng cải thiện ở chỉ số đại diện sẽ được chuyển giao.

## Cách diễn giải chênh lệch giữa các giai đoạn

| Mẫu hình quan sát được | Nút thắt có khả năng cao nhất | Thí nghiệm tiếp theo |
| --- | --- | --- |
| Bản gốc đạt điểm cao; bản tái dựng suy giảm mạnh | Độ trung thực của codec | Cải thiện khả năng tái dựng hoặc giảm mức nén trước khi tinh chỉnh bộ sinh |
| Kết quả tái dựng vẫn tốt; đầu ra được sinh bị suy giảm chất lượng | Bộ sinh tiềm ẩn | Kiểm tra quá trình khử nhiễu, lấy mẫu, điều kiện hóa và sự không khớp của phân phối mã |
| Các chỉ báo đại diện trong không gian tiềm ẩn được cải thiện; các thước đo sau giải mã không đổi | Khả năng chuyển giao của đại lượng đại diện | Đánh giá lại liệu đại lượng đại diện có phản ánh thuộc tính hạ nguồn cần quan tâm hay không |
| Mọi giai đoạn đều đạt điểm thấp | Dữ liệu, bộ đánh giá hoặc thiết lập thực nghiệm | Xác thực phân phối tham chiếu và bộ chấm điểm trước khi quy kết lỗi cho mô hình |

## Những phát hiện của nghiên cứu tình huống TinyStories đã công bố

Trong [*Chất lượng suy giảm ở đâu trong quá trình sinh văn bản ngắn có nén: định vị nút thắt theo từng giai đoạn*](https://aogavrilov.com/vi/publications/where-quality-breaks/) , các văn bản dài 64 token được nén thành 16 mã cấp cao nhất bằng VQ-VAE-2 phân cấp. Theo một bộ chấm điểm GPT-2 bên ngoài, trung vị độ hỗn loạn tăng từ **15.17** đối với văn bản gốc thành **27.36** đối với các bản tái dựng bằng codec, trong khi p95 tăng từ **25.10** đến **98.91** .

### Mô hình hóa ngôn ngữ bằng khuếch tán có che trong không gian mã so với không gian token

Khoảng chênh lệch tái dựng chi phối quy trình được thử nghiệm. Trong giới hạn đó, mô hình hóa ngôn ngữ khuếch tán có che (MDLM) trong không gian mã vẫn hoạt động tốt hơn MDLM trong không gian token theo bộ chấm điểm dùng chung: perplexity trung vị là **26.55** so với **38.42** , tương ứng mức giảm 30,9%.

Chính quy hóa có xét đến hình học cải thiện các chỉ số đại diện tiềm ẩn cục bộ trong những lượt chạy đối sánh hiện có, nhưng không cải thiện các chỉ số của văn bản đã giải mã. Kết quả chuyển giao âm này là một phần của chẩn đoán, không phải bằng chứng cho thấy bộ chính quy hóa đã cải thiện văn bản cuối cùng.

## Nội dung cần đo ở từng giai đoạn

## Các câu hỏi nghiên cứu mà hướng dẫn này giải đáp

Các câu trả lời ngắn gọn này liên kết những câu hỏi chẩn đoán thường gặp với bằng chứng được đo theo từng giai đoạn.

1. Trong thí nghiệm văn bản được báo cáo, khuếch tán có che mặt nạ trong không gian mã và trong không gian token khác nhau ra sao? Với cùng một bộ chấm điểm bên ngoài, MDLM trong không gian mã đạt perplexity trung vị 26.55, so với 38.42 của đường cơ sở trong không gian token, tức giảm 30.9%. Tuy nhiên, perplexity trung vị của bản tái dựng của codec đã là 27.36, vì vậy kết quả phải được diễn giải cùng với nút thắt tái dựng. [Kiểm tra các số liệu theo từng giai đoạn đã được báo cáo](https://aogavrilov.com/vi/research/codec-bottleneck-diagnosis/#code-space-vs-token-space) .
2. Nên so sánh khuếch tán có che mặt nạ trong không gian mã và không gian token như thế nào khi codec gây mất mát? Dùng cùng các mẫu dành riêng để đánh giá và cùng bộ chấm điểm văn bản đã giải mã cho văn bản gốc, bản tái dựng của codec, đầu ra trong không gian token và đầu ra trong không gian mã. Hãy báo cáo riêng chênh lệch tái dựng, vì ngay cả một bộ sinh trong không gian tiềm ẩn mạnh hơn cũng không thể khôi phục thông tin đã bị codec loại bỏ. [So sánh các giai đoạn bằng cùng một bộ chấm điểm](https://aogavrilov.com/vi/research/codec-bottleneck-diagnosis/#code-space-vs-token-space) .
3. Làm thế nào để chẩn đoán suy giảm chất lượng trong mô hình sinh văn bản hai giai đoạn? Với cùng một bộ đánh giá văn bản đã giải mã không thay đổi, hãy đo khoảng cách từ bản gốc đến bản tái dựng trước khoảng cách từ bản tái dựng đến kết quả sinh. Cách này tách trần chất lượng do codec áp đặt khỏi phần suy giảm bổ sung do quá trình sinh tiềm ẩn gây ra. [Thực hiện quy trình chẩn đoán qua bốn điểm kiểm tra](https://aogavrilov.com/vi/research/codec-bottleneck-diagnosis/#workflow) .
4. Khi nào các chỉ số tốt hơn trong không gian tiềm ẩn vẫn không cải thiện được đầu ra đã giải mã? Một chỉ báo thay thế trong không gian tiềm ẩn có thể cải thiện mà không phản ánh thuộc tính hạ nguồn cần quan tâm. Hãy kiểm thử khả năng chuyển giao bằng cách giải mã các đầu ra tương ứng và đánh giá chúng bằng cùng các thước đo cuối; nếu không, hình học hoặc mức sử dụng bảng mã chỉ là bằng chứng chẩn đoán, không phải mức cải thiện chất lượng văn bản. [Sử dụng phép chẩn đoán khả năng chuyển giao của đại lượng đại diện](https://aogavrilov.com/vi/research/codec-bottleneck-diagnosis/#decision-table) .

## Các sai lầm chẩn đoán thường gặp

### Chỉ so sánh đầu ra cuối cùng

Điểm số đầu cuối không thể cho biết biểu diễn hay bộ sinh đã gây ra tổn thất.

### Thay đổi bộ chấm điểm giữa các giai đoạn

Việc sử dụng các bộ đánh giá khác nhau khiến chênh lệch giữa các giai đoạn không thể so sánh và làm suy yếu khả năng quy kết quan hệ nhân quả.

### Đánh đồng tình trạng của bảng mã với “chất lượng văn bản”

Mức sử dụng lành mạnh vẫn có thể đồng thời xuất hiện với chất lượng tái dựng kém hoặc đầu ra sinh đã giải mã kém.

### Khái quát hóa từ một chế độ nén

Bằng chứng đã công bố chỉ bao quát một cấu hình TinyStories nén từ 64 xuống 16 và các lần chạy đơn mang tính mô tả.

## Cơ sở chính

Các nguồn này xác định tập dữ liệu và những họ mô hình được nghiên cứu chẩn đoán viện dẫn.

1. [Neural Discrete Representation Learning](https://arxiv.org/abs/1711.00937) Giới thiệu VQ-VAE và nút thắt rời rạc được học mà các bộ sinh tiềm ẩn về sau sử dụng.
2. [Generating Diverse High-Fidelity Images with VQ-VAE-2](https://arxiv.org/abs/1906.00446) Xây dựng biểu diễn rời rạc phân cấp với các tầng mã riêng biệt.
3. [TinyStories: How Small Can Language Models Be and Still Speak Coherent English?](https://arxiv.org/abs/2305.07759) Giới thiệu ngữ liệu truyện ngắn tổng hợp được sử dụng trong nghiên cứu tình huống chẩn đoán.
4. [Simple and Effective Masked Diffusion Language Models](https://arxiv.org/abs/2406.07524) Trình bày công thức khuếch tán rời rạc có che mặt nạ được dùng cho bộ sinh tiềm ẩn.

## Ranh giới bằng chứng

Phương pháp theo từng giai đoạn có thể được tái sử dụng, nhưng thứ hạng được báo cáo không mang tính phổ quát. Thí nghiệm đã công bố sử dụng TinyStories, một chế độ nén mạnh, một họ codec phân cấp, một bộ sinh rời rạc có che mặt nạ và các lượt chạy đơn mang tính mô tả. Hãy áp dụng quy trình chẩn đoán cho hệ thống mới; không được chuyển nguyên kết luận định lượng sang một bối cảnh khác.

## Các công bố liên quan

### [Where Quality Breaks in Compressed Short-Text Generation: Staged Bottleneck Localization](https://aogavrilov.com/vi/publications/where-quality-breaks/)

Chất lượng suy giảm ở đâu trong quá trình sinh văn bản ngắn có nén: định vị nút thắt theo từng giai đoạn

Phương pháp luận chẩn đoán FRUCT 39 2026 Hội nghị chính

### [Inspectable Control for Structure-Preserving Software Regeneration](https://aogavrilov.com/vi/publications/inspectable-control/)

Cơ chế điều khiển có thể kiểm tra trong tái sinh phần mềm bảo toàn cấu trúc

Phương pháp điều khiển trong không gian tiềm ẩn FSE Companion '26 2026 Áp phích đi kèm