# Como determinar se a falha de um gerador de texto comprimido está no codec ou no gerador

Canonical HTML: https://aogavrilov.com/pt/projects/codec-bottleneck-diagnosis/

Document language: pt

Um diagnóstico prático para sistemas de duas etapas que primeiro comprimem o texto em códigos discretos e depois realizam a geração no espaço de códigos. O objetivo é identificar qual etapa limita a saída decodificada antes de alocar recursos computacionais ao componente inadequado.

Publicado 29 de julho de 2026 Atualizado 30 de julho de 2026 [Alexey Gavrilov](https://aogavrilov.com/about/)

## A resposta breve

Pontue o texto original, sua reconstrução pareada pelo codec e o texto final gerado com o mesmo avaliador externo. A diferença entre o original e a reconstrução mede o teto de qualidade imposto antes da geração. A diferença entre a reconstrução e a geração isola, então, a degradação adicional introduzida pelo gerador latente.

**Não substitua a saída decodificada por uma medida indireta do espaço latente.** Uma geometria, utilização ou cobertura melhor do dicionário de códigos pode oferecer diagnósticos úteis, mas só comprova melhoria de qualidade quando o texto decodificado melhora segundo as métricas finais pertinentes.

## Um diagnóstico com quatro pontos de verificação

1. Estabeleça a referência Pontue os textos originais reservados com o avaliador externo utilizado em todas as etapas posteriores.
2. Avalie a reconstrução pelo codec Codifique e decodifique os mesmos exemplos sem realizar geração. Esse procedimento revela as informações perdidas no gargalo.
3. Avalie a geração latente Gere códigos, decodifique-os e avalie o texto resultante com o avaliador inalterado.
4. Auditar a transferência das métricas substitutas Compare os diagnósticos latentes com as métricas finais do texto decodificado, em vez de supor que os ganhos nas métricas substitutas se transfiram.

## Como interpretar as diferenças entre os estágios

| Padrão observado | Gargalo mais provável | Próximo experimento |
| --- | --- | --- |
| Os originais obtêm bons resultados; as reconstruções sofrem forte degradação | Fidelidade do codec | Melhore a reconstrução ou reduza a compressão antes de ajustar o gerador |
| As reconstruções permanecem robustas; as saídas geradas se degradam | Gerador latente | Inspecione a remoção de ruído, a amostragem, o condicionamento e a incompatibilidade na distribuição dos códigos |
| Os indicadores substitutos latentes melhoram; as métricas após a decodificação permanecem estáveis | Transferência da métrica substituta | Reavalie se a métrica substituta acompanha a propriedade de interesse a jusante |
| Todas as etapas obtêm resultados insatisfatórios | Dados, avaliador ou configuração experimental | Valide a distribuição de referência e o avaliador antes de atribuir a falha ao modelo |

## O que revelou o estudo de caso publicado sobre TinyStories

Em [*Where Quality Breaks in Compressed Short-Text Generation: Staged Bottleneck Localization*](https://aogavrilov.com/pt/publications/where-quality-breaks/) , textos de 64 tokens são comprimidos em 16 códigos de nível superior por meio de um VQ-VAE-2 hierárquico. Segundo um avaliador GPT-2 externo, a perplexidade mediana aumenta de **15.17** nos textos originais para **27.36** nas reconstruções pelo codec, enquanto o p95 aumenta de **25.10** para **98.91** .

### Modelagem de linguagem por difusão mascarada no espaço de códigos versus no espaço de tokens

A lacuna de reconstrução predomina no pipeline testado. Dentro desse limite, a modelagem de linguagem por difusão mascarada (MDLM) no espaço de código ainda supera a MDLM no espaço de tokens segundo o avaliador comum: a perplexidade mediana é **26.55** em comparação com **38.42** , uma redução de 30,9%.

A regularização sensível à geometria melhora as medidas indiretas latentes locais nas execuções pareadas disponíveis, mas não melhora as métricas do texto decodificado. Esse resultado negativo de transferência faz parte do diagnóstico; não constitui evidência de que o regularizador tenha melhorado o texto final.

## O que mensurar em cada etapa

## Perguntas de pesquisa respondidas por este guia

Estas respostas concisas relacionam perguntas frequentes de diagnóstico às evidências mensuradas em cada etapa.

1. Como a difusão mascarada no espaço de códigos se comparou à difusão mascarada no espaço de tokens no experimento textual relatado? Sob o mesmo avaliador externo, o MDLM no espaço de códigos apresentou perplexidade mediana de 26.55, contra 38.42 para a linha de base no espaço de tokens, uma redução de 30.9%. A mediana da reconstrução pelo codec já era 27.36; portanto, o resultado deve ser interpretado em conjunto com o gargalo de reconstrução. [Examine os valores relatados por estágio](https://aogavrilov.com/pt/projects/codec-bottleneck-diagnosis/#code-space-vs-token-space) .
2. Como comparar a difusão mascarada no espaço de códigos e no espaço de tokens quando o codec apresenta perdas? Utilize as mesmas amostras de teste reservadas e o mesmo avaliador de texto decodificado para os originais, as reconstruções pelo codec, as saídas no espaço de tokens e as saídas no espaço de códigos. Relate separadamente a diferença de reconstrução, pois um gerador latente mais robusto não pode recuperar informações já removidas pelo codec. [Compare as etapas com um único avaliador](https://aogavrilov.com/pt/projects/codec-bottleneck-diagnosis/#code-space-vs-token-space) .
3. Como diagnosticar a perda de qualidade em um gerador de texto de dois estágios? Com um único avaliador de texto decodificado mantido inalterado, avaliar primeiro a lacuna entre o original e a reconstrução e, depois, a lacuna entre a reconstrução e a geração. Isso distingue o limite máximo de qualidade imposto pelo codec da degradação adicional introduzida pela geração latente. [Siga o diagnóstico em quatro pontos de verificação](https://aogavrilov.com/pt/projects/codec-bottleneck-diagnosis/#workflow) .
4. Quando métricas melhores do espaço latente podem não melhorar a saída decodificada? Uma métrica substituta no espaço latente pode melhorar sem acompanhar a propriedade de interesse a jusante. Teste a transferência decodificando saídas correspondentes e avaliando-as com as mesmas métricas finais; caso contrário, a geometria ou a utilização do dicionário de códigos continuará sendo apenas evidência diagnóstica, e não um ganho de qualidade textual. [Utilize o diagnóstico de transferência dos indicadores substitutos](https://aogavrilov.com/pt/projects/codec-bottleneck-diagnosis/#decision-table) .

## Erros comuns de diagnóstico

### Comparar apenas os resultados finais

Uma pontuação de ponta a ponta não permite determinar se a perda foi causada pela representação ou pelo gerador.

### Alterar os avaliadores entre as etapas

A utilização de avaliadores distintos torna incomparáveis as diferenças entre etapas e enfraquece a atribuição causal.

### Tratar a integridade do dicionário de códigos como “qualidade do texto”

Uma utilização adequada pode coexistir com reconstruções deficientes ou gerações decodificadas de baixa qualidade.

### Generalização de um único regime de compressão

As evidências publicadas abrangem uma configuração TinyStories de 64 para 16 e execuções únicas de caráter descritivo.

## Fundamentação principal

Estas fontes definem o conjunto de dados e as famílias de modelos mencionados no estudo diagnóstico.

1. [Neural Discrete Representation Learning](https://arxiv.org/abs/1711.00937) Apresenta o VQ-VAE e o gargalo discreto aprendido empregado por geradores latentes posteriores.
2. [Geração de imagens diversificadas e de alta fidelidade com VQ-VAE-2](https://arxiv.org/abs/1906.00446) Desenvolve uma representação discreta hierárquica com níveis de código distintos.
3. [TinyStories: How Small Can Language Models Be and Still Speak Coherent English?](https://arxiv.org/abs/2305.07759) Apresenta o corpus sintético de contos utilizado no estudo de caso diagnóstico.
4. [Simple and Effective Masked Diffusion Language Models](https://arxiv.org/abs/2406.07524) Apresenta a formulação de difusão discreta mascarada empregada no gerador latente.

## Limite das evidências

O método por etapas é reutilizável, mas a classificação relatada não é universal. O experimento publicado utiliza TinyStories, um regime de compressão agressiva, uma família de codecs hierárquicos, um gerador discreto mascarado e execuções únicas de caráter descritivo. Aplique o protocolo de diagnóstico ao novo sistema; não transponha a conclusão numérica para outro contexto.

## Publicações relacionadas

### [Where Quality Breaks in Compressed Short-Text Generation: Staged Bottleneck Localization](https://aogavrilov.com/pt/publications/where-quality-breaks/)

Onde a qualidade se degrada na geração comprimida de textos curtos: localização escalonada de gargalos

Metodologia de diagnóstico FRUCT 39 2026 Conferência principal

### [Inspectable Control for Structure-Preserving Software Regeneration](https://aogavrilov.com/pt/publications/inspectable-control/)

Controle inspecionável para regeneração de software com preservação de estrutura

Método de controle no espaço latente FSE Companion '26 2026 Pôster complementar