Как определить, где сбоит сжатый генератор текста: в кодеке или генераторе

Оценивайте исходный текст, парные реконструкции кодека и итоговый сгенерированный текст одним и тем же внешним оценщиком. Разрыв между исходным и реконструированным текстом оценивает потолок качества, заданный до начала генерации, а разрыв между реконструкцией и генерацией выделяет дополнительную деградацию генератора. Улучшения прокси-метрик в латентном пространстве остаются диагностическими признаками, пока они не переносятся на качество декодированного текста.