AG — Alexey Gavrilov home

Where Quality Breaks in Compressed Short-Text Generation: Staged Bottleneck Localization

Chất lượng suy giảm ở đâu trong quá trình sinh văn bản ngắn có nén: định vị nút thắt theo từng giai đoạn

Chẩn đoán theo từng giai đoạn cho sinh văn bản ngắn có nén, phân tách tổn thất tái dựng codec khỏi tổn thất sinh trong không gian tiềm ẩn.

Alexey Gavrilov1Alan-Barsag Gazzaev1Sergey Muravyov1

  1. Đại học ITMO, Saint Petersburg, Nga

Đọc toàn văn bài báo ở định dạng HTMLVăn bản có thể tìm kiếm, bao gồm công thức, bảng, hình và tài liệu tham khảo.

Bản thảo cuối cùng đã được chấp nhận (phiên bản do tác giả đăng kèm DOI). © 2026 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting or republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works. Điều khoản đăng tải và tái sử dụng.

Bài báo trong 30 giây

Câu hỏi nghiên cứuLàm thế nào để quy riêng phần suy giảm chất lượng trong quy trình sinh văn bản nén cho codec và cho bộ sinh tiềm ẩn?

Vấn đề

Trong sinh văn bản ngắn có nén, chất lượng giải mã kém có thể bắt nguồn từ thông tin bị codec làm mất hoặc năng lực sinh yếu trong không gian tiềm ẩn. Các điểm số đầu-cuối làm lu mờ những dạng lỗi này và có thể khiến nỗ lực tối ưu hóa nhắm sai thành phần.

Phương pháp

Quy trình theo từng giai đoạn dùng một bộ đánh giá GPT-2 bên ngoài để chấm văn bản gốc, các bản tái dựng tương ứng của codec, đầu ra MDLM trong không gian token và đầu ra khuếch tán trong không gian mã. Các thước đo về bảng mã và hình học chỉ đóng vai trò chẩn đoán, không thay thế được chất lượng văn bản đã giải mã.

Kết quả chính

Tái dựng codec làm perplexity trung vị theo bộ chấm điểm bên ngoài tăng từ 15.17 lên 27.36 và p95 tăng từ 25.10 lên 98.91. Tuy vậy, MDLM trong không gian mã vẫn giảm 30.9% perplexity trung vị so với MDLM trong không gian token.

Vì sao điều này quan trọng

Kết quả chuyển việc chẩn đoán nút thắt codec thành một thứ tự công việc có thể triển khai: ưu tiên cải thiện codec, sau đó so sánh quá trình sinh trong không gian token và không gian mã, và chỉ tin vào mức tăng của chỉ báo thay thế trong không gian ẩn khi văn bản đã giải mã cũng được cải thiện.

Tóm tắt

Các bộ sinh văn bản ngắn có nén có thể gặp lỗi ở hai công đoạn: codec có thể làm mất thông tin trước khi quá trình sinh bắt đầu, hoặc bộ sinh trong không gian tiềm ẩn có thể tạo ra các mã kém chất lượng. Nếu không tách biệt hai dạng lỗi này, nhà nghiên cứu có thể tiêu tốn tài nguyên tính toán để cải thiện sai thành phần. Chúng tôi khảo sát vấn đề bằng một nghiên cứu tình huống TinyStories có kiểm soát với cấu hình nén từ 64 xuống 16, sử dụng codec VQ-VAE-2 phân cấp và bộ sinh khuếch tán rời rạc che mặt nạ (MDLM). Quy trình thẩm định theo từng giai đoạn tách biệt độ trung thực của tái dựng codec, chất lượng sinh trong không gian tiềm ẩn và các chỉ báo chẩn đoán tiềm ẩn bổ trợ dưới cùng một bộ chấm điểm GPT-2 bên ngoài; đồng thời, nghiên cứu báo cáo các thước đo ngữ nghĩa bổ sung cho khảo sát hình học. Trong cấu hình được thử nghiệm, riêng tái dựng codec đã làm perplexity trung vị theo bộ chấm điểm bên ngoài tăng từ 15.17 lên 27.36 (+80.4%) và p95 tăng từ 25.10 lên 98.91 (+294.1%), cho thấy phần tổn thất chất lượng chủ yếu xuất hiện trước khi quá trình sinh trong không gian tiềm ẩn bắt đầu. Với cùng bộ chấm điểm, MDLM trong không gian mã vẫn tốt hơn đáng kể so với khuếch tán trong không gian token, khi lần lượt giảm giá trị trung bình, trung vị và p95 đi 32.9%, 30.9% và 36.6%. Chính quy hóa có xét đến hình học cải thiện các chỉ báo thay thế cục bộ trong không gian tiềm ẩn nhưng không cải thiện các thước đo trên văn bản đã giải mã trong những lần chạy hiện có. Đóng góp của bài báo thuộc về phương pháp luận, không phải thuật toán: công trình trình bày một quy trình chẩn đoán theo từng giai đoạn có thể tái sử dụng cho một pipeline cụ thể, đồng thời cho thấy trong bối cảnh này, độ trung thực của codec chứ không phải quá trình khử nhiễu tiềm ẩn quyết định trần chất lượng thực tế.

Công bố tại 2026 39th Conference of Open Innovations Association (FRUCT)

Loại hình đóng góp Phương pháp luận chẩn đoán

số 1tr. 69–76Hội nghị chính

DOI https://doi.org/10.23919/FRUCT70069.2026.11506553

Chia sẻ bài báo nàyChia sẻ

Các kết quả chính

Các kết quả chính của Nơi chất lượng suy giảm trong quá trình sinh văn bản ngắn có nén: Định vị nút thắt theo từng giai đoạn
Điểm đánh giánPPL trung bìnhPPL trung vịPPL phân vị 95
Văn bản gốc25616.2415.1725.1
Các bản tái dựng codec25637.2627.3698.91
Đường cơ sở AR25130.9823.2756.11
MDLM trong không gian token25644.7438.4293.6
MDLM trong không gian mã25630.0126.5559.36

Kết quả chính. Phần lớn mức suy giảm chất lượng quan sát được xuất hiện trước giai đoạn sinh; tuy vậy, khuếch tán trong không gian mã vẫn giảm 30.9% perplexity trung vị so với khuếch tán trong không gian token.

Tập dữ liệu
TinyStories
Cỡ mẫu
256 mẫu tái dựng theo cặp; 251–256 mẫu được sinh cho mỗi chế độ; bốn cấu hình hình học tương ứng.
Chỉ số đánh giá
Perplexity GPT-2 ngoài: trung bình, trung vị, p95 và cực đại; mức sử dụng codebook và kích thước tập hỗ trợ; SBERT, BERTScore, MAUVE và bản tóm tắt của bộ đánh giá LLM cho các lượt chạy hình học
Độ bất định
Các phép so sánh được báo cáo dựa trên một lần chạy và mang tính mô tả; nghiên cứu không tính khoảng tin cậy hay ước lượng mức ý nghĩa qua nhiều hạt giống ngẫu nhiên.
Điều kiện
Các chuỗi token GPT-2 có độ dài 64 được nén thành 16 mã cấp cao nhất bằng VQ-VAE-2 phân cấp; mọi chế độ sinh đều sử dụng chung bộ chấm điểm ngoài.

Tải kết quả:CSVJSONMarkdownBản sao bên ngoài:Thẻ tập dữ liệu Hugging Face

PDF và trích dẫn

Trích dẫn bài báo này BibTeX là định dạng được khuyến nghị. Mọi biến thể dưới đây đều được tạo từ cùng một bản ghi công bố.

Mở PDF
@inproceedings{Gavrilov2026WhereQuality,
  title      = {Where Quality Breaks in Compressed Short-Text Generation: Staged Bottleneck Localization},
  author     = {Gavrilov, Alexey and Gazzaev, Alan-Barsag and Muravyov, Sergey},
  booktitle  = {2026 39th Conference of Open Innovations Association (FRUCT)},
  publisher  = {IEEE},
  year       = {2026},
  pages      = {69--76},
  doi        = {10.23919/FRUCT70069.2026.11506553},
  url        = {https://doi.org/10.23919/FRUCT70069.2026.11506553},
  isbn       = {978-952-65246-5-8},
}
Tải xuống .bib

Tệp trích dẫn:Văn bản APAVăn bản IEEERISCSL-JSONSchema.org JSON-LDOAI-DC XMLOpenAIRE v4 XMLMODS XMLXML siêu dữ liệu JATS 1.4Toàn văn JATS 1.4 XMLRDF TurtleTập hợp liên kết (JSON)Tập hợp liên kết (HTTP)RO-Crate

DOI:https://doi.org/10.23919/FRUCT70069.2026.11506553

Hướng dẫn đầy đủ

Hướng dẫn nghiên cứu đầy đủ

Phương pháp

Bài báo sử dụng cùng một bộ chấm điểm qua ba giai đoạn đánh giá để mỗi phép biến đổi bổ sung đều có thể gắn với một khoảng chênh lệch chất lượng đo được.

  1. Tái dựng

    Mã hóa mỗi mẫu TinyStories dài 64 token thành 16 mã cấp cao nhất rồi giải mã ngay để đo tổn thất tái dựng bằng codec.

  2. Sinh

    Dùng MDLM để sinh token văn bản hoặc mã tiềm ẩn rời rạc, sau đó giải mã các mẫu trong không gian mã bằng cùng codec đã huấn luyện.

  3. So sánh

    Chấm điểm văn bản gốc, bản tái dựng và văn bản được sinh bằng cùng một giao thức GPT-2 bên ngoài, bao gồm thống kê trung vị và phần đuôi.

Quy trình sinh văn bản nén theo giai đoạn, so sánh văn bản gốc, bản tái dựng codec, MDLM trong không gian mã và văn bản đã giải mã nhằm tách tổn thất codec khỏi tổn thất sinh.
Phương pháp định vị nút thắt theo từng giai đoạn tách tổn thất tái dựng codec khỏi tổn thất sinh trong không gian tiềm ẩn bằng cùng một quy trình đánh giá văn bản đã giải mã.Nguồn: Sơ đồ diễn giải do tác giả xây dựng dựa trên phương pháp và kết quả đã công bố..Điều khoản tái sử dụng: CC BY 4.0.Trích dẫn đề xuất: Gavrilov, Gazzaev, and Muravyov (2026), Where Quality Breaks in Compressed Short-Text Generation. Tải SVG.

Ý tưởng chính

Bộ sinh hạ nguồn không thể khôi phục thông tin mà codec đã loại bỏ. Vì vậy, cần kiểm định giai đoạn tái dựng trước khi diễn giải kết quả sinh trong không gian tiềm ẩn.

Khác biệt so với các cách tiếp cận gần kề

Các phép so sánh đầu cuối tiêu chuẩn chỉ báo cáo một điểm sinh cuối cùng. Quy trình này bổ sung một điểm kiểm tra tái dựng theo cặp và tách các chỉ số tình trạng trong không gian ẩn khỏi bằng chứng trên văn bản đã giải mã.

Điểm mới

Đóng góp của công trình là một phương pháp chẩn đoán theo giai đoạn có thể tái sử dụng cho một quy trình văn bản nén cụ thể, chứ không phải một thuật toán khử nhiễu mới.

Những câu hỏi mà bài báo này góp phần giải đáp

Mở một câu hỏi để xem câu trả lời ngắn gọn dựa trên bài báo. Ranh giới bằng chứng chi tiết được trình bày trong phần Hạn chế.

  1. Chất lượng suy giảm ở đâu trong quá trình sinh văn bản ngắn có nén?

    Trong quy trình TinyStories nén từ 64 xuống 16 được thử nghiệm, phần suy giảm chủ yếu xuất hiện ở giai đoạn tái dựng codec, trước khi quá trình sinh trong không gian tiềm ẩn bắt đầu. Perplexity trung vị do GPT-2 bên ngoài chấm tăng từ 15.17 đối với văn bản gốc lên 27.36 sau tái dựng, còn p95 tăng từ 25.10 lên 98.91. Đây là kết quả cho một cấu hình cụ thể, không phải bảng xếp hạng codec có tính phổ quát.

  2. Làm thế nào để tách tổn thất codec khỏi tổn thất sinh trong không gian tiềm ẩn?

    Quy trình theo từng giai đoạn đánh giá văn bản gốc, các bản tái dựng tương ứng của codec và văn bản sinh cuối cùng bằng cùng một bộ chấm điểm bên ngoài. Chênh lệch từ bản gốc đến bản tái dựng ước lượng phần tổn thất do codec, còn phép so sánh giữa bản tái dựng và đầu ra sinh giúp định vị tổn thất sinh bổ sung. Các chỉ số về trạng thái của không gian tiềm ẩn được báo cáo tách biệt với bằng chứng trên văn bản đã giải mã.

  3. Nên đánh giá việc sinh văn bản từ biểu diễn tiềm ẩn rời rạc như thế nào?

    Bài báo khuyến nghị kiểm tra độ trung thực của tái dựng trước khi so sánh các bộ sinh, áp dụng cùng một bộ chấm điểm văn bản đã giải mã ở mọi giai đoạn, đồng thời báo cáo thống kê trung tâm và phần đuôi phân phối. Bài báo cũng xem mức sử dụng bảng mã, hình học và các chỉ báo thay thế khác trong không gian ẩn là công cụ chẩn đoán, thay vì yếu tố thay thế cho chất lượng văn bản đã giải mã.

  4. Khuếch tán trong không gian mã có vượt trội khuếch tán trong không gian token không?

    Với bộ chấm điểm chung và thiết lập được kiểm thử, MDLM trong không gian mã giảm perplexity trung bình, trung vị và p95 lần lượt 32.9%, 30.9% và 36.6% so với MDLM trong không gian token. Phép so sánh này mang tính mô tả và phụ thuộc cấu hình; nó không xác lập thứ hạng phổ quát giữa các tập dữ liệu, tỷ lệ nén, codec hay kiến trúc khuếch tán.

  5. Các chỉ số hình học tiềm ẩn tốt hơn có bảo đảm văn bản được sinh ra tốt hơn không?

    Không. Trong các lần chạy đối sánh hiện có, chính quy hóa có xét hình học cải thiện các đại lượng đại diện cục bộ trong không gian tiềm ẩn nhưng không cải thiện các chỉ số trên văn bản đã giải mã. Kết quả này cho thấy cần kiểm chứng mọi cải thiện ở đại lượng đại diện trên đầu ra giải mã cuối cùng, đồng thời xem việc cải thiện không chuyển giao là một kết quả âm hữu ích chứ không phải bằng chứng cho sự tiến bộ của quá trình sinh.

So sánh với các cách tiếp cận gần kề

So sánh thực chứng giữa Nơi chất lượng suy giảm trong quá trình sinh văn bản ngắn có nén: Định vị nút thắt theo từng giai đoạn và các hướng tiếp cận liên quan
Phương phápBiểu diễnĐiều khiển / chẩn đoánNội dung được bảo toàn hoặc đo lường
Khuếch tán trong không gian tokenToken văn bảnChất lượng sinh trong không gian tokenĐộ trôi chảy và hành vi của bộ chấm điểm đối với phương thức sinh trực tiếp
Sinh trong không gian tiềm ẩn nénMã tiềm ẩn rời rạc thông qua codecChất lượng sinh đầu cuối cuối cùngHành vi kết hợp của codec và bộ sinh tiềm ẩn
Định vị nút thắt theo giai đoạnVăn bản, các bản tái dựng codec và các biến ẩn rời rạcTách tổn thất codec khỏi tổn thất sinhVị trí chất lượng suy giảm khi dùng chung một bộ chấm điểm

Phép so sánh phân biệt phạm vi đánh giá và bằng chứng; đây không phải là bảng xếp hạng phổ quát giữa các phương pháp.

Mức độ liên quan và phạm vi

Quy trình theo từng giai đoạn hữu ích khi một pipeline sinh gồm cả codec được học và bộ sinh trong không gian tiềm ẩn, nhưng chưa rõ nguồn gốc của sự suy giảm chất lượng đầu ra.

  1. Sinh văn bản nén với biểu diễn tiềm ẩn rời rạc

  2. Độ trung thực của tái dựng codec trong các quy trình sinh

  3. Mô hình hóa ngôn ngữ bằng khuếch tán có che trong không gian mã

  4. Định vị nút thắt và đánh giá nhất quán theo giai đoạn

  5. Kiểm định mức cải thiện của chỉ báo thay thế trong không gian tiềm ẩn trên văn bản đã giải mã

Xem các hạn chế và phạm vi của bằng chứng

Hạn chế

  • Nghiên cứu thực nghiệm chỉ sử dụng TinyStories.
  • Phân tích chính chỉ bao quát một chế độ nén mạnh từ 64 xuống 16.
  • Hệ thống được đánh giá kết hợp một họ codec VQ-VAE-2 phân cấp với một bộ sinh MDLM.
  • Các so sánh dựa trên từng lần chạy đơn và mang tính mô tả, không phải là ước lượng thống kê đa seed.
  • Perplexity do GPT-2 bên ngoài chấm là một chỉ báo chẩn đoán dùng chung, không phải thước đo phổ quát về chất lượng ngữ nghĩa.
  • Không nên áp dụng trực tiếp các kết luận này cho mọi tập dữ liệu, kiến trúc codec hoặc tỷ lệ nén.

Tài liệu tham khảo được bài báo trích dẫn

Các mục này tương ứng với phần Tài liệu tham khảo được đánh số trong tệp PDF của bài báo.

  1. Subham Sekhar Sahoo, Marianne Arriola, Yair Schiff, Aaron Gokaslan, Edgar Marroquin, Justin T Chiu, Alexander Rush, Volodymyr Kuleshov. . Simple and Effective Masked Diffusion Language Models. Advances in Neural Information Processing Systems.
  2. Aaron van den Oord, Oriol Vinyals, Koray Kavukcuoglu. . Neural Discrete Representation Learning. Advances in Neural Information Processing Systems.
  3. Ali Razavi, Aaron van den Oord, Oriol Vinyals. . Generating Diverse High-Fidelity Images with VQ-VAE-2. Advances in Neural Information Processing Systems.
  4. Jacob Austin, Daniel D. Johnson, Jonathan Ho, Daniel Tarlow, Rianne van den Berg. . Structured Denoising Diffusion Models in Discrete State-Spaces. Advances in Neural Information Processing Systems.
  5. Aaron Lou, Chenlin Meng, Stefano Ermon. . Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution. Proceedings of the 41st International Conference on Machine Learning.
  6. Xiaochuang Han, Sachin Kumar, Yulia Tsvetkov. . SSD-LM: Semi-autoregressive Simplex-based Diffusion Language Model for Text Generation and Modular Control. Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics.
  7. Xiang Lisa Li, John Thickstun, Ishaan Gulrajani, Percy Liang, Tatsunori B. Hashimoto. . Diffusion-LM Improves Controllable Text Generation. Advances in Neural Information Processing Systems.
  8. Huiwen Chang, Han Zhang, Lu Jiang, Ce Liu, William T. Freeman. . MaskGIT: Masked Generative Image Transformer. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.
  9. Marjan Ghazvininejad, Omer Levy, Yinhan Liu, Luke Zettlemoyer. . Mask-Predict: Parallel Decoding of Conditional Masked Language Models. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing.
  10. Emiel Hoogeboom, Didrik Nielsen, Priyank Jaini, Patrick Forré, Max Welling. . Argmax Flows and Multinomial Diffusion: Learning Categorical Distributions. Advances in Neural Information Processing Systems.
  11. Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever. . Language Models are Unsupervised Multitask Learners. OpenAI Technical Report.
  12. Nils Reimers, Iryna Gurevych. . Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing.
  13. Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, Yoav Artzi. . BERTScore: Evaluating Text Generation with BERT. International Conference on Learning Representations.
  14. Krishna Pillutla, Swabha Swayamdipta, Rowan Zellers, John Thickstun, Sean Welleck, Yejin Choi, Zaid Harchaoui. . MAUVE: Measuring the Gap Between Neural Text and Human Text using Divergence Frontiers. Advances in Neural Information Processing Systems.
  15. Lianmin Zheng, Wei-Lin Chiang, Ying Sheng, Siyuan Zhuang, Zhanghao Wu, Yonghao Zhuang, Zi Lin, Zhuohan Li, Dacheng Li, Eric P. Xing, Hao Zhang, Joseph E. Gonzalez, Ion Stoica. . Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. Advances in Neural Information Processing Systems, Datasets and Benchmarks Track.

Tài nguyên và khả năng tái lập

Nhà xuất bản
IEEE
Tài nguyên công bố
Bản thảo công khai, các bảng kết quả, hình minh họa giải thích và tệp trích dẫn được cung cấp tại đây. Mã triển khai và các checkpoint chưa được phát hành công khai.

Tuyên bố về dữ liệu

Nguồn
TinyStories, theo mô tả trong bài báo.
Giấy phép
Việc sử dụng TinyStories vẫn phải tuân theo các điều khoản riêng của tập dữ liệu; trang này không phân phối lại bất kỳ tệp dữ liệu nào.
Tiền xử lý
Token hóa bằng GPT-2, đầu vào cố định 64 token và nén thời gian phân cấp từ 64 xuống 32 rồi 16 vị trí.
Phân tách
Ấn phẩm báo cáo 256 mẫu tái dựng theo cặp và 251–256 mẫu được sinh cho mỗi chế độ; công trình không công bố bản kê phân chia tập huấn luyện/xác thực có thể tái sử dụng.
Định dạng
Các mẫu văn bản ngắn, chuỗi token GPT-2, chuỗi mã rời rạc, nhật ký sinh và bảng tổng hợp.
Phiên bản / checksum
Bài báo không báo cáo tổng kiểm dữ liệu hoặc mã định danh ảnh chụp TinyStories bất biến.
Thu thập
Trang công bố không phát hành kèm tập lệnh thu thập công khai.
Giới hạn sử dụng
Bằng chứng chỉ bao quát các truyện tổng hợp ngắn và không nên được xem là chuẩn đối sánh cho bài toán sinh ngôn ngữ tự nhiên không hạn chế.

Các phiên bản

  1. Phiên bản đã công bốIEEE / FRUCT, 2026
  5. Bài trình bày tại hội nghịBài trình bày tại FRUCT 39
  6. Chỉ mục kỷ yếu hội nghịKỷ yếu FRUCT 39 chính thức
  7. PDF kỷ yếu hội nghịToàn văn truy cập mở của FRUCT
  8. Mở bản ghi học thuậtOpenAlex
  9. Bản ghi đồ thị trích dẫnSemantic Scholar
  10. Toàn văn do tác giả chia sẻResearchGate

DOI đã công bố là định danh thư mục chính. Trang này vẫn là URL dự án chính tắc duy nhất xuyên suốt các phiên bản.

Đọc Chẩn đoán nút thắt codec hướng dẫn nghiên cứu.Giới thiệu tác giả.

Ghi chú nghiên cứu trọng tâm

Các câu trả lời theo từng ý định, có ranh giới bằng chứng và liên kết trở lại bài báo này.