Where Quality Breaks in Compressed Short-Text Generation: Staged Bottleneck Localization

보조 한국어 제목: 압축 단문 생성에서 품질이 무너지는 지점: 단계별 병목 위치 추적

초록: 압축 단문 생성기는 서로 다른 두 단계에서 실패할 수 있다. 생성이 시작되기 전에 코덱이 정보를 잃을 수 있고, 잠재 생성기가 품질이 낮은 코드를 만들 수도 있다. 이 두 실패 모드를 구분하지 않으면 연구자가 잘못된 구성요소에 계산 자원을 투입할 수 있다. 이 논문은 계층적 VQ-VAE-2 코덱과 마스킹 이산 확산 생성기(MDLM)로 이루어진 통제된 64→16 TinyStories 설정을 연구한다. 코덱 재구성 충실도, 잠재 생성 품질, 보조 잠재 공간 진단을 동일한 외부 GPT-2 평가기로 따로 측정하는 단계별 검증 프로토콜을 제안하고, 기하 연구에는 의미 기반 지표도 보완한다. 시험한 설정에서 코덱 재구성만으로 외부 perplexity 중앙값은 15.17에서 27.36으로 80.4% 증가했고, p95는 25.10에서 98.91로 294.1% 증가했다. 즉 주요 품질 손실은 잠재 생성이 시작되기 전에 이미 발생했다. 같은 평가기에서 코드 공간 MDLM은 토큰 공간 확산보다 평균, 중앙값, p95 perplexity가 각각 32.9%, 30.9%, 36.6% 낮았다. 기하 인식 정규화는 국소 잠재 공간 대리 지표를 개선했지만 기존 실행의 디코딩 텍스트 지표는 개선하지 못했다. 기여는 새 생성 알고리즘이 아니라 재사용 가능한 단계별 진단 방법이며, 이 설정에서는 잠재 잡음 제거보다 코덱 충실도가 실제 품질 상한을 결정함을 보여 준다.

핵심 결과: 관측된 품질 손실의 대부분은 생성 전에 발생했다. 그럼에도 코드 공간 확산은 토큰 공간 확산보다 중앙값 perplexity가 30.9% 낮았다.

근거의 한계: 실증 연구는 TinyStories만 사용한다. 주요 분석은 공격적인 64→16 압축 설정 하나만 다룬다. 계층적 VQ-VAE-2 코덱 계열 하나와 MDLM 생성기 하나만 평가한다. 비교는 단일 실행의 기술 통계이며 여러 랜덤 시드의 통계 추정이 아니다. 외부 GPT-2 perplexity는 일관된 진단 지표이지만 보편적인 의미 품질 지표는 아니다. 결론을 모든 데이터셋, 코덱 구조, 압축률에 직접 일반화할 수 없다.

한국어 논문 안내: https://aogavrilov.com/ko/publications/where-quality-breaks/
영어 논문 페이지: https://aogavrilov.com/publications/where-quality-breaks/
영어 논문 전문: https://aogavrilov.com/publications/where-quality-breaks/full-text/
영어 PDF: https://aogavrilov.com/publications/where-quality-breaks/paper.pdf
DOI: https://doi.org/10.23919/FRUCT70069.2026.11506553