Маскированная диффузия в пространстве кодов и токенов: как их сравнивать

Оценивайте исходный текст, реконструкции кодека, результаты в пространстве токенов и декодированные результаты в пространстве кодов одним внешним оценщиком и с одинаковой предобработкой. Разрыв реконструкции кодека нужно показывать отдельно: генератор кодов не может восстановить информацию, которую кодек уже удалил. Модель в пространстве токенов генерирует текстовые токены напрямую. Модель в пространстве кодов сначала генерирует дискретные латентные коды, а затем использует декодер для восстановления текста. Итоговые результаты можно сравнивать, но у кодового конвейера есть дополнительная точка отказа: потери реконструкции могут снизить потолок качества ещё до начала латентной генерации. Поэтому корректное сравнение отвечает на два вопроса. Сначала нужно определить, сколько качества кодек сохраняет без генерации новых кодов. Затем — сколько дополнительных потерь вносит каждый генератор при неизменном протоколе оценки декодированного текста. Границы применимости: Эти числа относятся к одному режиму сжатия TinyStories, одному иерархическому кодеку и описанной схеме оценки; они не задают универсальный порядок моделей в пространстве кодов и токенов. Перплексия полезна, но не измеряет полностью семантическое качество, разнообразие, фактическую точность или практическую полезность. Сравнения нужно интерпретировать вместе с указанными размерами выборок и ограничениями неопределённости.