# Jak zjistit, zda příčina selhání generátoru komprimovaného textu spočívá v kodeku, nebo v generátoru

Canonical HTML: https://aogavrilov.com/cs/research/codec-bottleneck-diagnosis/

Document language: cs

Praktická diagnostika dvoufázových systémů, které nejprve komprimují text do diskrétních kódů a poté generují v prostoru kódů. Cílem je určit, která fáze omezuje dekódovaný výstup, dříve než se výpočetní prostředky vynaloží na nesprávnou komponentu.

Publikováno 29. července 2026 Aktualizováno 30. července 2026 [Alexey Gavrilov](https://aogavrilov.com/about/)

## Stručná odpověď

Ohodnotit původní text, jeho odpovídající rekonstrukci kodekem a výsledný generovaný text stejným externím hodnotitelem. Rozdíl mezi originálem a rekonstrukcí vyjadřuje horní mez kvality stanovenou ještě před generováním. Rozdíl mezi rekonstrukcí a generováním následně izoluje další zhoršení způsobené latentním generátorem.

**Nenahrazujte dekódovaný výstup zástupnou metrikou latentního prostoru.** Lepší geometrie, využití či podpora číselníku kódů mohou být užitečnými diagnostickými ukazateli, zlepšení kvality však dokládají pouze tehdy, když se dekódovaný text zlepší podle příslušných konečných metrik.

## Diagnostika se čtyřmi kontrolními body

1. Stanovte referenční bod Ohodnoťte vyčleněné původní texty externím hodnotitelem používaným ve všech následujících fázích.
2. Měření rekonstrukce kodekem Zakódujte a dekódujte tytéž příklady bez generování. Tím se odhalí informace ztracené v úzkém hrdle.
3. Měření latentního generování Vygenerujte kódy, dekódujte je a výsledný text ohodnoťte nezměněným hodnotitelem.
4. Prověřte přenos zástupné metriky Porovnejte diagnostiku latentních reprezentací s konečnými metrikami dekódovaného textu; nepředpokládejte, že se zlepšení zástupných ukazatelů automaticky přenese.

## Jak interpretovat rozdíly mezi jednotlivými fázemi

| Pozorovaný vzorec | Nejpravděpodobnější úzké hrdlo | Další experiment |
| --- | --- | --- |
| Originály dosahují dobrých výsledků, rekonstrukce se výrazně zhoršují | Věrnost kodeku | Před laděním generátoru zlepšete rekonstrukci nebo snižte míru komprese |
| Rekonstrukce zůstávají kvalitní, generované výstupy se zhoršují | Latentní generátor | Prověřte odšumování, vzorkování, podmiňování a nesoulad distribuce kódů |
| Zástupné metriky v latentním prostoru se zlepšují, metriky dekódovaného výstupu však stagnují | Přenos zástupné metriky | Znovu posoudit, zda zástupná metrika skutečně sleduje cílovou vlastnost v navazující úloze |
| Každá fáze dosahuje slabých výsledků | Data, hodnoticí model nebo uspořádání experimentu | Než selhání přisoudíte modelu, ověřte referenční rozdělení a hodnotitele |

## Co zjistila publikovaná případová studie TinyStories

V [*Kde se při generování komprimovaného krátkého textu zhoršuje kvalita: etapová lokalizace úzkého hrdla*](https://aogavrilov.com/cs/publications/where-quality-breaks/) , texty o 64 tokenech se pomocí hierarchického VQ-VAE-2 komprimují do 16 kódů nejvyšší úrovně. Při hodnocení jedním externím modelem GPT-2 vzroste medián perplexity z **15.17** pro původní texty na **27.36** pro rekonstrukce kodekem, zatímco p95 vzroste z **25.10** do **98.91** .

### Maskované difuzní jazykové modelování v prostoru kódů oproti prostoru tokenů

Testované pipeline dominuje rozdíl vznikající při rekonstrukci. V rámci tohoto stropu dosahuje maskované difuzní jazykové modelování (MDLM) v prostoru kódů podle společné hodnoticí funkce stále lepších výsledků než MDLM v prostoru tokenů: medián perplexity je **26.55** oproti **38.42** , což představuje snížení o 30,9 %.

Regularizace zohledňující geometrii zlepšuje v dostupných párově srovnatelných bězích lokální zástupné metriky latentního prostoru, nezlepšuje však metriky dekódovaného textu. Tento negativní výsledek přenosu je součástí diagnózy, nikoli důkazem, že regularizátor zlepšil výsledný text.

## Co měřit v každé etapě

## Výzkumné otázky, na něž tento průvodce odpovídá

Tyto stručné odpovědi propojují běžné diagnostické otázky s doklady naměřenými v jednotlivých etapách.

1. Jak si v popsaném experimentu s textem vedla maskovaná difuze v prostoru kódů ve srovnání s maskovanou difuzí v prostoru tokenů? Při použití téhož externího hodnotitele dosáhl MDLM v prostoru kódů mediánu perplexity 26.55 oproti 38.42 u výchozího modelu v prostoru tokenů, tedy snížení o 30.9 %. Medián rekonstrukce kodekem však již činil 27.36, a výsledek je proto nutné vykládat společně s úzkým hrdlem rekonstrukce. [Prozkoumejte uvedené výsledky po jednotlivých fázích](https://aogavrilov.com/cs/research/codec-bottleneck-diagnosis/#code-space-vs-token-space) .
2. Jak porovnávat maskovanou difuzi v prostoru kódů a v prostoru tokenů, je-li kodek ztrátový? Pro originály, rekonstrukce kodekem, výstupy v prostoru tokenů a výstupy v prostoru kódů použijte stejné vyčleněné vzorky a stejného hodnotitele dekódovaného textu. Rozdíl způsobený rekonstrukcí uvádějte samostatně, protože ani výkonnější generátor v latentním prostoru nedokáže obnovit informace, které kodek již odstranil. [Porovnejte fáze pomocí jediného hodnoticího modelu](https://aogavrilov.com/cs/research/codec-bottleneck-diagnosis/#code-space-vs-token-space) .
3. Jak diagnostikovat pokles kvality u dvoustupňového generátoru textu? Pomocí jediného, nezměněného hodnotitele dekódovaného textu nejprve změřte rozdíl mezi originálem a rekonstrukcí a teprve poté rozdíl mezi rekonstrukcí a generovaným výstupem. Tím oddělíte horní mez kvality danou kodekem od dalšího zhoršení způsobeného latentním generováním. [Postupujte podle diagnostiky se čtyřmi kontrolními body](https://aogavrilov.com/cs/research/codec-bottleneck-diagnosis/#workflow) .
4. Kdy se lepší metriky latentního prostoru nemusejí projevit zlepšením dekódovaného výstupu? Zástupná metrika v latentním prostoru se může zlepšit, aniž by postihovala sledovanou vlastnost výsledného výstupu. Přenos ověřte dekódováním odpovídajících si výstupů a jejich vyhodnocením stejnými konečnými metrikami; jinak geometrie či využití číselníku kódů zůstávají pouze diagnostickým dokladem, nikoli zlepšením kvality textu. [Použijte diagnostiku přenosu zástupných ukazatelů](https://aogavrilov.com/cs/research/codec-bottleneck-diagnosis/#decision-table) .

## Časté diagnostické chyby

### Porovnávání pouze konečných výstupů

Celkové hodnocení neposkytuje informaci, zda ztrátu způsobila reprezentace, nebo generátor.

### Střídání hodnoticích modelů mezi fázemi

Použití různých hodnotitelů znemožňuje porovnat rozdíly mezi fázemi a oslabuje kauzální atribuci.

### Označování stavu číselníku kódů za „kvalitu textu“

Dobré využití kapacity může existovat současně s nekvalitními rekonstrukcemi nebo nekvalitními dekódovanými generovanými výstupy.

### Zobecnění jediného režimu komprese

Publikované důkazy zahrnují jednu konfiguraci TinyStories s kompresí 64 ku 16 a popisné jednotlivé běhy.

## Hlavní teoretická východiska

Tyto zdroje vymezují datovou sadu a rodiny modelů, na něž diagnostická studie odkazuje.

1. [Učení neuronových diskrétních reprezentací](https://arxiv.org/abs/1711.00937) Představuje VQ-VAE a naučené diskrétní úzké hrdlo využívané pozdějšími latentními generátory.
2. [Generating Diverse High-Fidelity Images with VQ-VAE-2](https://arxiv.org/abs/1906.00446) Vytváří hierarchickou diskrétní reprezentaci s oddělenými úrovněmi kódů.
3. [TinyStories: How Small Can Language Models Be and Still Speak Coherent English?](https://arxiv.org/abs/2305.07759) Představuje korpus syntetických krátkých příběhů použitý v diagnostické případové studii.
4. [Simple and Effective Masked Diffusion Language Models](https://arxiv.org/abs/2406.07524) Uvádí formulaci maskované diskrétní difuze použitou pro latentní generátor.

## Meze důkazů

Metodu rozdělenou do etap lze použít opakovaně, uvedené pořadí však není univerzální. Publikovaný experiment využívá TinyStories, jediný režim agresivní komprese, jednu rodinu hierarchických kodeků, jeden maskovaný diskrétní generátor a popisné jednotlivé běhy. Na nový systém aplikujte diagnostický protokol; číselný závěr nepřenášejte do jiných podmínek.

## Související publikace

### [Where Quality Breaks in Compressed Short-Text Generation: Staged Bottleneck Localization](https://aogavrilov.com/cs/publications/where-quality-breaks/)

Kde se láme kvalita při generování komprimovaných krátkých textů: vícefázová lokalizace úzkého hrdla

Diagnostická metodologie FRUCT 39 2026 Hlavní konference

### [Inspectable Control for Structure-Preserving Software Regeneration](https://aogavrilov.com/cs/publications/inspectable-control/)

Přezkoumatelné řízení regenerace softwaru se zachováním struktury

Metoda řízení v latentním prostoru FSE Companion '26 2026 Doprovodný poster