Where Quality Breaks in Compressed Short-Text Generation: Staged Bottleneck Localization

Русское вспомогательное название: Где ухудшается качество при генерации сжатого короткого текста: поэтапная локализация узких мест

Исследовательский вопрос: Как раздельно оценить вклад кодека и латентного генератора в потерю качества конвейера генерации сжатого текста?

Аннотация: Генераторы сжатого короткого текста могут давать сбой на двух этапах: кодек может отбросить информацию до начала генерации, а латентный генератор — сформировать некачественные коды. Если не разделять эти причины, вычислительные ресурсы могут быть потрачены на улучшение не того компонента. Мы исследуем эту проблему на контролируемом примере TinyStories со сжатием последовательности с 64 до 16 позиций, используя иерархический кодек VQ-VAE-2 и маскированную дискретную диффузионную модель (MDLM). Поэтапный протокол отдельно оценивает точность реконструкции кодека, качество латентной генерации и вспомогательные характеристики латентного пространства с помощью единого внешнего оценщика GPT-2; для исследования геометрии дополнительно приводятся семантические метрики. В исследованной конфигурации одна только реконструкция кодека повышает медианную внешнюю перплексию с 15,17 до 27,36 (+80,4%), а p95 — с 25,10 до 98,91 (+294,1%): основная потеря качества возникает до латентной генерации. При том же оценщике MDLM в пространстве кодов существенно превосходит диффузию в пространстве токенов, снижая среднее, медиану и p95 на 32,9%, 30,9% и 36,6% соответственно. Регуляризация с учетом геометрии улучшает локальные прокси-метрики латентного пространства, но в доступных запусках не улучшает метрики декодированного текста. Вклад работы методологический, а не алгоритмический: предложена воспроизводимая поэтапная диагностика конкретного конвейера и показано, что в этой конфигурации практический потолок качества задает точность кодека, а не латентное устранение шума.

Ключевой результат: Основная наблюдаемая потеря качества возникает до генерации; при этом диффузия в пространстве кодов снижает медианную перплексию на 30,9% относительно диффузии в пространстве токенов.

Границы доказательств: В эмпирическом исследовании используется только TinyStories. Основной анализ охватывает один агрессивный режим сжатия 64 к 16. Оцениваемая система объединяет одно семейство иерархических кодеков VQ-VAE-2 с одним генератором MDLM. Сравнения основаны на отдельных прогонах и являются описательными, а не многократными статистическими оценками. Внешняя перплексия GPT-2 используется как единая диагностическая метрика, а не как универсальная мера семантического качества. Выводы не следует переносить непосредственно на все наборы данных, архитектуры кодеков или степени сжатия.

Русская страница: https://aogavrilov.com/ru/publications/where-quality-breaks/
Официальная английская страница: https://aogavrilov.com/publications/where-quality-breaks/
Полный текст статьи на английском: https://aogavrilov.com/publications/where-quality-breaks/full-text/
Официальный PDF на английском: https://aogavrilov.com/publications/where-quality-breaks/paper.pdf
DOI: https://doi.org/10.23919/FRUCT70069.2026.11506553