AG — Alexey Gavrilov 연구 홈페이지

Where Quality Breaks in Compressed Short-Text Generation: Staged Bottleneck Localization

압축 단문 생성에서 품질이 무너지는 지점: 단계별 병목 위치 추적

코덱 재구성 손실과 잠재 생성 손실을 같은 평가 프로토콜에서 단계별로 분리한다.

Alexey Gavrilov1Alan-Barsag Gazzaev1Sergey Muravyov1

  1. ITMO University, Saint Petersburg, Russia

30초 요약

연구 질문압축 텍스트 생성 파이프라인의 품질 손실이 코덱에서 생겼는지 잠재 생성기에서 생겼는지 어떻게 따로 측정할 수 있는가?

문제

최종 디코딩 품질은 코덱이 이미 정보를 잃어서 낮아질 수도 있고, 잠재 생성기가 나쁜 이산 코드를 만들어서 낮아질 수도 있다. 최종 점수 하나만 보면 두 실패 원인이 섞인다.

접근법

원문, 짝지은 코덱 재구성, 토큰 공간 MDLM 출력, 코드 공간 MDLM 출력을 동일한 외부 GPT-2 평가기로 측정한다. 코드북 사용률과 잠재 기하 지표는 진단용으로만 사용한다.

주요 결과

코덱 재구성만으로 중앙값 perplexity가 15.17에서 27.36으로, p95가 25.10에서 98.91로 상승했다. 그럼에도 코드 공간 MDLM은 토큰 공간 MDLM보다 중앙값 perplexity가 30.9% 낮았다.

의미

코덱을 먼저 진단하고 개선한 뒤 생성기를 비교해야 한다는 실행 순서를 제공한다. 잠재 공간 대리 지표의 개선은 디코딩 텍스트 품질도 좋아질 때만 실제 진전으로 해석한다.

초록

압축 단문 생성기는 서로 다른 두 단계에서 실패할 수 있다. 생성이 시작되기 전에 코덱이 정보를 잃을 수 있고, 잠재 생성기가 품질이 낮은 코드를 만들 수도 있다. 이 두 실패 모드를 구분하지 않으면 연구자가 잘못된 구성요소에 계산 자원을 투입할 수 있다. 이 논문은 계층적 VQ-VAE-2 코덱과 마스킹 이산 확산 생성기(MDLM)로 이루어진 통제된 64→16 TinyStories 설정을 연구한다. 코덱 재구성 충실도, 잠재 생성 품질, 보조 잠재 공간 진단을 동일한 외부 GPT-2 평가기로 따로 측정하는 단계별 검증 프로토콜을 제안하고, 기하 연구에는 의미 기반 지표도 보완한다. 시험한 설정에서 코덱 재구성만으로 외부 perplexity 중앙값은 15.17에서 27.36으로 80.4% 증가했고, p95는 25.10에서 98.91로 294.1% 증가했다. 즉 주요 품질 손실은 잠재 생성이 시작되기 전에 이미 발생했다. 같은 평가기에서 코드 공간 MDLM은 토큰 공간 확산보다 평균, 중앙값, p95 perplexity가 각각 32.9%, 30.9%, 36.6% 낮았다. 기하 인식 정규화는 국소 잠재 공간 대리 지표를 개선했지만 기존 실행의 디코딩 텍스트 지표는 개선하지 못했다. 기여는 새 생성 알고리즘이 아니라 재사용 가능한 단계별 진단 방법이며, 이 설정에서는 잠재 잡음 제거보다 코덱 충실도가 실제 품질 상한을 결정함을 보여 준다.

게재 학술대회 2026 39th Conference of Open Innovations Association (FRUCT)

기여 유형 단계별 병목 진단 방법

69–76쪽본 학술대회 논문

DOI https://doi.org/10.23919/FRUCT70069.2026.11506553

논문 공유공유

최종 저자 목록과 DOI가 포함된 영문 저자 수락본이다. 저작권은 IEEE에 있으며 개인적 이용만 허용된다. 공식 기록은 IEEE DOI 페이지이다.

핵심 결과

Where Quality Breaks 논문의 핵심 결과
평가 지점표본 수평균 perplexity중앙값 perplexityp95 perplexity
원문25616.2415.1725.1
코덱 재구성25637.2627.3698.91
자기회귀 기준선25130.9823.2756.11
토큰 공간 MDLM25644.7438.4293.6
코드 공간 MDLM25630.0126.5559.36

핵심 결론.관측된 품질 손실의 대부분은 생성 전에 발생했다. 그럼에도 코드 공간 확산은 토큰 공간 확산보다 중앙값 perplexity가 30.9% 낮았다.

데이터셋
TinyStories
표본 크기
짝지은 재구성 표본 256개, 생성 모드별 251–256개, 기하 설정 4개.
지표
외부 GPT-2 perplexity의 평균·중앙값·p95·최댓값, 코드북 사용률과 지지집합 크기, 기하 실험의 SBERT·BERTScore·MAUVE·LLM 판정 요약
불확실성
비교는 단일 실행의 기술 통계이며, 신뢰 구간이나 여러 랜덤 시드의 유의성 추정은 계산하지 않았다.
실험 조건
길이 64의 GPT-2 토큰열을 계층적 VQ-VAE-2로 상위 코드 16개에 압축했으며 모든 생성 모드에 동일한 외부 평가기를 사용했다.

결과 내려받기:CSVJSONMarkdown외부 미러:Hugging Face 데이터셋 카드

PDF와 인용

학술 메타데이터와 인용。인용 정보에는 공식 영문 제목, 원래 저자 이름과 순서, 공식 학술대회명, DOI, 영문 PDF를 그대로 유지한다.

PDF 열기
@inproceedings{Gavrilov2026WhereQuality,
  title      = {Where Quality Breaks in Compressed Short-Text Generation: Staged Bottleneck Localization},
  author     = {Gavrilov, Alexey and Gazzaev, Alan-Barsag and Muravyov, Sergey},
  booktitle  = {2026 39th Conference of Open Innovations Association (FRUCT)},
  publisher  = {IEEE},
  year       = {2026},
  pages      = {69--76},
  doi        = {10.23919/FRUCT70069.2026.11506553},
  url        = {https://doi.org/10.23919/FRUCT70069.2026.11506553},
  isbn       = {978-952-65246-5-8},
}

인용 파일:APAIEEEBibTeXRISCSL-JSONSchema.org JSON-LDOAI-DC XMLMODS XMLJATS 1.4 metadata XMLFull-text JATS 1.4 XMLRDF TurtleLink Set (JSON)Link Set (HTTP)RO-Crate

DOI:https://doi.org/10.23919/FRUCT70069.2026.11506553

전체 해설

전체 연구 해설

방법

세 평가 단계에 동일한 외부 평가기를 사용해 각 변환이 추가한 품질 격차를 따로 측정한다.

  1. 재구성

    64-token TinyStories 표본을 상위 이산 코드 16개로 인코딩한 뒤 즉시 디코딩하여 코덱 재구성 손실을 측정한다.

  2. 생성

    MDLM이 텍스트 토큰 또는 이산 잠재 코드를 생성한다. 코드 공간 표본은 학습된 동일 코덱으로 텍스트로 복원한다.

  3. 비교

    원문, 재구성 텍스트, 생성 텍스트를 동일한 외부 GPT-2 프로토콜로 평가하고 중앙 경향과 꼬리 통계를 함께 보고한다.

원문, 코덱 재구성, 코드 공간 MDLM, 디코딩 텍스트를 차례로 비교해 코덱 손실과 생성 손실을 분리하는 단계별 압축 텍스트 생성 파이프라인.
단계별 병목 위치 추적은 하나의 디코딩 텍스트 평가 프로토콜 아래에서 코덱 재구성 손실과 잠재 생성 손실을 분리한다.저자가 게재된 방법과 결과를 바탕으로 작성한 설명용 도식.재사용 조건: CC BY 4.0.Gavrilov, Gazzaev, and Muravyov (2026), Where Quality Breaks in Compressed Short-Text Generation. SVG 내려받기

자주 묻는 질문

아래 답변은 논문에 보고된 구체적 실험만을 근거로 하며, 더 엄격한 적용 범위는 제한사항에 적었다.

  1. 압축 단문 생성의 품질은 어느 단계에서 먼저 떨어졌는가?

    시험한 TinyStories 64→16 파이프라인에서는 주요 저하가 잠재 생성 전의 코덱 재구성 단계에서 나타났다. 외부 GPT-2 perplexity 중앙값은 15.17에서 27.36으로, p95는 25.10에서 98.91로 상승했다. 이는 이 설정의 결과이지 모든 코덱에 대한 일반 순위가 아니다.

  2. 코덱 손실과 잠재 생성 손실을 어떻게 분리하는가?

    동일한 외부 평가기로 원문, 짝지은 재구성, 최종 생성 텍스트를 측정한다. 원문과 재구성 사이의 격차는 코덱의 기여를 추정하고, 재구성과 생성 출력의 비교는 생성 단계가 추가한 저하를 보여 준다. 잠재 공간 건강 지표는 디코딩 텍스트 근거와 별도로 보고한다.

  3. 코드 공간 확산이 토큰 공간 확산보다 나은가?

    같은 평가기와 시험 설정에서는 코드 공간 MDLM의 평균, 중앙값, p95 perplexity가 각각 32.9%, 30.9%, 36.6% 낮았다. 단일 설정의 기술적 비교이므로 데이터셋, 압축률, 코덱, 확산 구조 전반의 보편 순위를 뜻하지 않는다.

  4. 잠재 기하 지표가 좋아지면 생성 텍스트도 반드시 좋아지는가?

    아니다. 일치시킨 기존 실행에서 기하 인식 정규화는 국소 잠재 대리 지표를 개선했지만 디코딩 텍스트 지표는 개선하지 못했다. 따라서 대리 지표의 향상은 최종 디코딩 출력에서 다시 검증해야 한다.

이 논문을 인용할 때

학습된 코덱과 잠재 생성기를 포함한 생성 파이프라인에서 출력 품질이 어느 단계에서 저하되는지 찾는 연구에 인용할 수 있다.

  1. 압축 텍스트와 이산 잠재 텍스트 생성

  2. 생성 파이프라인의 코덱 재구성 충실도

  3. 코드 공간 마스킹 확산 언어 모델링

  4. 병목 위치 추적과 단계 간 일관된 평가

  5. 디코딩 텍스트로 잠재 공간 대리 지표 개선을 감사하는 방법

제한사항과 근거 범위 보기

제한사항

  • 실증 연구는 TinyStories만 사용한다.
  • 주요 분석은 공격적인 64→16 압축 설정 하나만 다룬다.
  • 계층적 VQ-VAE-2 코덱 계열 하나와 MDLM 생성기 하나만 평가한다.
  • 비교는 단일 실행의 기술 통계이며 여러 랜덤 시드의 통계 추정이 아니다.
  • 외부 GPT-2 perplexity는 일관된 진단 지표이지만 보편적인 의미 품질 지표는 아니다.
  • 결론을 모든 데이터셋, 코덱 구조, 압축률에 직접 일반화할 수 없다.

논문이 인용한 참고문헌

아래 항목은 영문 논문 PDF의 번호와 일치하며 제목, 저자, 출판물 이름은 원문을 유지한다.

  1. Subham Sekhar Sahoo, Marianne Arriola, Yair Schiff, Aaron Gokaslan, Edgar Marroquin, Justin T Chiu, Alexander Rush, Volodymyr Kuleshov. . Simple and Effective Masked Diffusion Language Models. Advances in Neural Information Processing Systems.
  2. Aaron van den Oord, Oriol Vinyals, Koray Kavukcuoglu. . Neural Discrete Representation Learning. Advances in Neural Information Processing Systems.
  3. Ali Razavi, Aaron van den Oord, Oriol Vinyals. . Generating Diverse High-Fidelity Images with VQ-VAE-2. Advances in Neural Information Processing Systems.
  4. Jacob Austin, Daniel D. Johnson, Jonathan Ho, Daniel Tarlow, Rianne van den Berg. . Structured Denoising Diffusion Models in Discrete State-Spaces. Advances in Neural Information Processing Systems.
  5. Aaron Lou, Chenlin Meng, Stefano Ermon. . Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution. Proceedings of the 41st International Conference on Machine Learning.
  6. Xiaochuang Han, Sachin Kumar, Yulia Tsvetkov. . SSD-LM: Semi-autoregressive Simplex-based Diffusion Language Model for Text Generation and Modular Control. Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics.
  7. Xiang Lisa Li, John Thickstun, Ishaan Gulrajani, Percy Liang, Tatsunori B. Hashimoto. . Diffusion-LM Improves Controllable Text Generation. Advances in Neural Information Processing Systems.
  8. Huiwen Chang, Han Zhang, Lu Jiang, Ce Liu, William T. Freeman. . MaskGIT: Masked Generative Image Transformer. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.
  9. Marjan Ghazvininejad, Omer Levy, Yinhan Liu, Luke Zettlemoyer. . Mask-Predict: Parallel Decoding of Conditional Masked Language Models. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing.
  10. Emiel Hoogeboom, Didrik Nielsen, Priyank Jaini, Patrick Forré, Max Welling. . Argmax Flows and Multinomial Diffusion: Learning Categorical Distributions. Advances in Neural Information Processing Systems.
  11. Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever. . Language Models are Unsupervised Multitask Learners. OpenAI Technical Report.
  12. Nils Reimers, Iryna Gurevych. . Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing.
  13. Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, Yoav Artzi. . BERTScore: Evaluating Text Generation with BERT. International Conference on Learning Representations.
  14. Krishna Pillutla, Swabha Swayamdipta, Rowan Zellers, John Thickstun, Sean Welleck, Yejin Choi, Zaid Harchaoui. . MAUVE: Measuring the Gap Between Neural Text and Human Text using Divergence Frontiers. Advances in Neural Information Processing Systems.
  15. Lianmin Zheng, Wei-Lin Chiang, Ying Sheng, Siyuan Zhuang, Zhanghao Wu, Yonghao Zhuang, Zi Lin, Zhuohan Li, Dacheng Li, Eric P. Xing, Hao Zhang, Joseph E. Gonzalez, Ion Stoica. . Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. Advances in Neural Information Processing Systems, Datasets and Benchmarks Track.