AG — Alexey Gavrilov home

TALA SA PANANALIKSIK

Code-space at token-space masked diffusion: kung paano paghahambingin ang mga ito

Protocol ng paghahambing na pare-pareho sa bawat yugto para sa mga code-space at token-space masked diffusion language model kapag lossy ang discrete codec.

Nailathala

Ibahagi ang talang pananaliksik na itoIbahagi

TUWIRANG SAGOT

Paano dapat paghambingin ang code-space at token-space masked diffusion language modeling?

Suriin ang source text, mga rekonstruksiyon ng codec, token-space output, at na-decode na code-space output gamit ang iisang panlabas na scorer at preprocessing. Iulat nang hiwalay ang agwat sa rekonstruksiyon ng codec: hindi mababawi ng code-space generation ang impormasyong inalis na ng codec.

Kung bakit mahalaga ang pagkakaiba

Kailangan ng metodo at ipinapahayag na garantiya ang iisang naoobserbahang hangganan.

Direktang bumubuo ng mga text token ang token-space model. Bumubuo muna ng mga discrete latent code ang code-space model at saka umaasa sa decoder upang mabawi ang teksto. Maaaring paghambingin ang kanilang mga pinal na output, ngunit may karagdagang punto ng pagkabigo ang code-space pipeline: maaaring ibaba ng pagkalugi sa rekonstruksiyon ang pinakamataas na posibleng kalidad bago magsimula ang pagbuo sa espasyong latent.

Kaya dalawang tanong, hindi isa, ang kailangan sa makatarungang paghahambing. Una, itanong kung gaanong kalidad ang napapanatili ng codec nang walang anumang pagbuo. Pagkatapos, itanong kung gaanong karagdagang pagkalugi ang idinudulot ng bawat generator sa ilalim ng iisang hindi binagong protocol sa pagsusuri ng na-decode na teksto.

Isang praktikal na pamamaraan

  1. Itakda ang baseline ng source

    Bigyan ng score ang mga ibinukod na source text gamit ang evaluator at preprocessing na gagamitin sa bawat susunod na yugto.

  2. Sukatin muna ang rekonstruksiyon bago ang pagbuo

    I-encode at i-decode ang parehong mga halimbawa nang hindi nagsa-sample ng mga bagong code. Inihihiwalay nito ang pinakamataas na antas na itinatakda ng codec.

  3. Suriin ang dalawang espasyo ng pagbuo matapos ang decoding

    Tuwirang tasahin ang mga sample sa espasyo ng token, at i-decode muna ang mga sample sa espasyo ng code bago tasahin. Huwag ihambing ang latent na proxy sa isang panukat ng na-decode na teksto.

  4. Iulat ang mga distribusyon at kawalang-katiyakan

    Ipakita ang median at asal sa mga dulo, bilang ng sample, preprocessing, at kawalang-katiyakan sa mga inulit na run. Maaaring ikubli ng iisang average ang malulubhang kabiguan sa rekonstruksiyon.

Ebidensiyang dapat kailanganin

Ang tibay ng isang pahayag ay hanggang sa tibay lamang ng katangiang sinukat matapos ang pagbuo o pag-decode.

  • Iisang panlabas na evaluator ng na-decode na teksto at preprocessing ang ginagamit sa bawat checkpoint.
  • Magkahiwalay na iniuulat ang mga resulta para sa pinagmulan, rekonstruksiyon, espasyo ng token, at na-decode na espasyo ng code.
  • Hindi iniuugnay sa latent na generator ang agwat sa rekonstruksiyon ng codec.
  • Dapat samahan ng median at gawi sa tail ang anumang paghahambing ng mean.
  • Iniuulat muna ang mga seed o pagtatantiya ng kawalang-katiyakan bago gawing pangkalahatan ang maliliit na pagkakaiba.

Ano ang iniuulat ng naka-link na pag-aaral

  • Sa iniulat na 64-to-16 na setting ng TinyStories, ang rekonstruksiyon ng codec lamang ay nagtaas sa median external perplexity mula 15.17 tungong 27.36.
  • Sa ilalim ng parehong scorer, umabot sa 26.55 ang median na perplexity ng MDLM sa espasyo ng code, samantalang umabot sa 38.42 ang baseline sa espasyo ng token—isang 30.9% na pagbawas para sa pagbuo sa espasyo ng code sa eksperimentong iyon.
  • Pinahusay ng geometry-aware regularization ang mga lokal na latent diagnostic sa magkatugmang run na magagamit, ngunit hindi nito pinahusay ang mga panukat ng na-decode na teksto.

Basahin ang pangkalahatang-ideya ng publikasyon Hanapin sa buong teksto ng papel

Hangganan ng saklaw

  • Inilalarawan ng mga bilang na ito ang isang rehimen ng compression sa TinyStories, isang herarkikal na codec, at ang iniulat na setup ng ebalwasyon; hindi nito itinatatag ang pangkalahatang pagkakasunod ng mga modelo sa espasyo ng code at espasyo ng token.
  • Nagbibigay-kaalaman ang perplexity ngunit hindi ito kumpletong sukatan ng semantic na kalidad, pagkakaiba-iba, pagiging makatotohanan, o pakinabang.
  • Dapat basahin ang mga magagamit na paghahambing ayon sa nakasaad na laki ng sample at mga limitasyon sa kawalang-katiyakan.
Buksan ang kumpletong yugtu-yugtong diagnosis ng bottleneck

Pangunahin at kaugnay na mga sanggunian

Sumangguni sa mga naka-link na papel para sa mga orihinal na pamamaraan, sukat, at nakasaad na limitasyon.

  1. Where Quality Breaks in Compressed Short-Text Generation

    Pangunahing papel at mga iniulat na pagsukat sa bawat yugto.

  2. Simple and Effective Masked Diffusion Language Models

    Pormulasyon ng masked discrete diffusion na ginagamit ng latent generator.

  3. Neural Discrete Representation Learning

    Saligang natutuhang pamamaraan ng discrete na representasyon.

Pinananatili ni . Nilalagom ng pahinang ito ang umiiral na ebidensiya at wala itong idinaragdag na resultang eksperimental bukod sa nasa mga siniping sanggunian.

Tingnan ang lahat ng tala sa pananaliksik