AG — Alexey Gavrilov home

ИЗСЛЕДОВАТЕЛСКА БЕЛЕЖКА

Маскирана дифузия в пространството на кодовете спрямо пространството на токените: как да ги сравним

Съгласуван между етапите протокол за сравнение на маскирани дифузионни езикови модели в кодовото и токеновото пространство, когато дискретният кодек внася загуби.

Публикувано

Споделете тази изследователска бележкаСподеляне

ПРЯК ОТГОВОР

Как следва да се сравнява езиковото моделиране чрез маскирана дифузия в кодовото пространство и в пространството на токените?

Оценете изходния текст, реконструкциите чрез кодека, изходите от пространството на токените и декодираните изходи от кодовото пространство с един и същ външен оценител и еднаква предварителна обработка. Отчитайте отделно разликата при реконструкция чрез кодека: генерирането в кодовото пространство не може да възстанови информация, която кодекът вече е отстранил.

Защо разграничението е важно

Методът и заявената гаранция трябва да имат една и съща наблюдаема граница.

Моделът в токеновото пространство генерира текстови токени пряко. Моделът в кодовото пространство първо генерира дискретни латентни кодове, а след това разчита на декодер да възстанови текста. Крайните им резултати могат да се сравняват, но конвейерът в кодовото пространство има допълнителна точка на отказ: загубата при реконструкция може да понижи тавана на качеството още преди да започне генерирането в латентното пространство.

Следователно справедливото сравнение изисква два въпроса, а не един. Първо трябва да се установи каква част от качеството запазва кодекът без генериране. След това — каква допълнителна загуба внася всеки генератор при един и същ, непроменен протокол за оценяване на декодирания текст.

Практическа процедура

  1. Определяне на базовото ниво за изходния текст

    Оценете отделените изходни текстове чрез оценителя и предварителната обработка, които ще се използват на всеки последващ етап.

  2. Измерете реконструкцията преди генерирането

    Кодирайте и декодирайте едни и същи примери, без да извадково избирате нови кодове. Така се изолира горната граница, наложена от кодека.

  3. Оценяване на двете пространства за генериране след декодиране

    Оценявайте директно извадките от пространството на токените, а извадките от кодовото пространство декодирайте преди оценяването. Не съпоставяйте латентен косвен показател с метрика върху декодиран текст.

  4. Представяне на разпределенията и неопределеността

    Представяйте медианата и поведението в опашките, броя на извадките, предварителната обработка и неопределеността при многократни изпълнения. Една средна стойност може да прикрие сериозни неизправности при реконструкцията.

Изисквани доказателства

Едно твърдение е убедително само доколкото е надеждно измерено съответното свойство след генерирането или декодирането.

  • Във всяка контролна точка се използват едни и същи външен оценител на декодирания текст и предварителна обработка.
  • Резултатите за източника, реконструкцията, пространството на токените и декодираното кодово пространство се отчитат поотделно.
  • Разликата при реконструкцията от кодека не се приписва на латентния генератор.
  • Всяко сравнение на средни стойности се придружава от медианата и поведението в опашките на разпределението.
  • Преди да се обобщават малки разлики, се посочват началните стойности или оценките на неопределеността.

Какво отчита свързаното изследване

  • В описаната постановка TinyStories 64-към-16 само реконструкцията чрез кодека повиши медианната външна перплексия от 15.17 на 27.36.
  • При един и същ оценител MDLM в пространството на кодовете достига медианна перплексия 26.55, докато базовият модел в пространството на токените достига 38.42 — намаление с 30.9% за генерирането в пространството на кодовете в този експеримент.
  • Регуляризацията, отчитаща геометрията, подобрява локалните диагностични показатели за латентното пространство в наличните съпоставими експерименти, но не подобрява метриките за декодирания текст.

Прочетете обзора на публикацията Търсене в пълния текст на статията

Граница на обхвата

  • Тези числа описват един режим на компресия за TinyStories, един йерархичен кодек и представената постановка за оценяване; те не установяват универсална подредба на моделите в пространството на кодовете и в пространството на токените.
  • Перплексията е информативна, но не е изчерпателна мярка за семантично качество, разнообразие, фактологична точност или полезност.
  • Наличните съпоставки следва да се тълкуват с оглед на посочените размери на извадките и ограниченията, свързани с неопределеността.
Отваряне на пълната поетапна диагностика на тясното място

Основни и сродни източници

Направете справка в свързаните публикации за първоначалните методи, измервания и посочени ограничения.

  1. Where Quality Breaks in Compressed Short-Text Generation

    Основна статия и представени измервания по етапи.

  2. Simple and Effective Masked Diffusion Language Models

    Формулировка с маскирана дискретна дифузия, използвана от латентния генератор.

  3. Neural Discrete Representation Learning

    Основополагащ метод за научаване на дискретни представяния.