Aktiv forskningsretning
Diskret latent generering
Diskrete repræsentationer til selektiv regenerering af kode samt evidensbaserede valg mellem begrænset generering, AI-understøttet refaktorering og forudsigelig koderedigering.
Udforsk projektetTag udgangspunkt i den fejl, der kan observeres, og følg derefter den metode, evidens og afgrænsning, der passer til den.
Det samme symptom kan skyldes repræsentation, generering, styring eller verifikation.
| Observeret problem | Første diagnosticering | Påkrævet evidens | Metode |
|---|---|---|---|
| Det dekodede output er mangelfuldt, men den fejlramte fase er ukendt | Bedøm kildeteksten, den tilhørende rekonstruktion og det genererede resultat med den samme eksterne evaluator. | Sammenlignelige fordelinger og haleadfærd i hver fase. | Trinvis diagnosticering af flaskehalse |
| En metrik i latentrummet forbedres, men den endelige kvalitet gør ikke | Undersøg, om forbedringen i proxymålet består efter afkodning. | Parrede metrikker for afkodet output, ikke kun latent diagnostik. | Kontrol af proxyoverførsel |
| Et koderedigeringsværktøj omskriver mere end det ønskede område | Angiv en eksplicit bevarelsesgrænse, og mål differencen uden for området. | Lokalitet og opgavesucces måles samlet. | Evaluering af lokaliseret redigering |
| En refaktorering skal bevare adfærd, ikke blot syntaks | Adskil forslag fra udførelse og verifikation. | Kompilering, test, statiske kontroller og detektion af refaktorering. | Beslutningskort for styringsflader |
Aktiv forskningsretning
Diskrete repræsentationer til selektiv regenerering af kode samt evidensbaserede valg mellem begrænset generering, AI-understøttet refaktorering og forudsigelig koderedigering.
Udforsk projektetEvalueringsvejledning
En trinvis metode til at afgøre, om den afkodede kvalitet begrænses af rekonstruktion, latent generering eller et proxy-mål, der ikke overføres til den endelige tekst.
Åbn diagnosevejledningenSelvstændige evidensnoter til bredere søgninger, der ikke tager udgangspunkt i en artikeltitel. Hver note henviser tilbage til den relevante publikation og fuldtekst.
En trinkonsistent protokol til sammenligning af sprogmodeller med maskeret diffusion i kode- og tokenrummet, når det diskrete codec er tabsgivende.
Sådan undgås unødig omskrivning af hele funktionen, samtidig med at en generativ model bevarer tilstrækkelig frihed til at foretage den ønskede kodeændring.
En praktisk skelnen mellem grammatiske begrænsninger, typebegrænsninger, bevarelsesgrænser og acceptkontroller på adfærdsniveau for genereret kode.
Sådan evalueres nyere metoder til AI-assisteret refaktorering uden at forveksle en plausibel genereret patch med verificeret bevarelse af adfærd.
Hvorfor deterministisk sampling ikke er nok, og hvordan observerbare, beskyttede egenskaber og acceptkontroller gør kodegeneratorens adfærd testbar.
Åbn et praktisk spørgsmål for at få et kort svar, og følg derefter evidenslinket for at se metoder, målinger og begrænsninger. Dette er indgange til forskningen, ikke universelle garantier.
Definér redigeringsgrænsen før genereringen, bevar eller genbrug kildekoden uden for denne grænse, generér kun ændringskandidater, og afvis output, der ikke løser opgaven eller ændrer beskyttede områder. Hierarkisk låsning af latente positioner er én eksperimentel styringsflade, men garanterer ikke identiske spænd i kildekoden. Sammenlign styringsflader til lokaliseret redigering.
Mål diffen uden for det ønskede område sammen med opgavesucces, ændringer i det redigerbare område, strukturelle invarianter, test eller statiske kontroller samt variation mellem gentagne kørsler. Parsingsraten alene påviser kun syntaktisk velformethed. Gennemgå tjeklisten for evidens om lokalitet.
Rapportér stabiliteten i det beskyttede område sammen med friheden i det redigerbare område og kandidaternes entydighed. Kopiering af inputtet kan maksimere stabiliteten uden at løse opgaven, mens ubegrænset omskrivning kan maksimere ændringen og samtidig ødelægge lokaliteten. Se den afgrænsede evidens for stabilitet og frihed.
Lokaliseret redigering fremhæver det, der skal forblive uændret; begrænset generering håndhæver en formel egenskab ved outputtet, såsom tilhørsforhold til en grammatik; og programreparation kræver, at ændringen opfylder en fejl- eller opgavespecifikation. Syntaks alene dokumenterer hverken semantisk ækvivalens, funktionel korrekthed, opgavesucces eller lokalitet. Sammenlign de tre målfunktioner.
Definér beskyttede og redigerbare områder før genereringen, modificér kun den redigerbare repræsentation, dekod, og afvis kandidater, der ændrer beskyttet kode eller ikke opfylder krav til syntaks, test, statiske kontroller eller opgavespecifikke invarianter. Det rapporterede eksperiment med hierarkiske latente repræsentationer måler probabilistisk stabilitet for funktioner på 64 tokens; det garanterer hverken uændrede spænd eller uændret adfærd. Undersøg arbejdsgangen for selektiv regenerering.
Anvend modellen til at identificere eller foreslå en transformation, udfør den derefter om muligt med en betroet refaktoreringsmotor, og verificér kompilering, test, statiske kontroller og den tilsigtede refaktorering. En plausibel genereret patch udgør ikke tilstrækkelig evidens. Åbn beslutningsrækken for refaktorering.
Angiv en observerbar bevarelseskontrakt og acceptkontroller, før generatoren vælges. Forudsigelighed afhænger af, hvad der forbliver stabilt efter afkodning og verifikation, ikke blot af om en prompt, maske, grammatik eller latent kode var fastlåst. Definér bevarelseskontrakten.
Med den samme eksterne evaluator havde MDLM i koderummet en medianperpleksitet på 26.55 mod 38.42 for baselinen i tokenrummet, svarende til en reduktion på 30.9%. Medianen for codec-rekonstruktionen var allerede 27.36, og resultatet skal derfor fortolkes i sammenhæng med rekonstruktionsflaskehalsen. Undersøg de rapporterede tal for hvert trin.
Anvend de samme tilbageholdte samples og den samme evaluator af afkodet tekst til originaler, codec-rekonstruktioner samt output fra token- og koderummet. Rapportér rekonstruktionsforskellen særskilt, fordi en stærkere latent generator ikke kan genskabe information, som codec'et allerede har fjernet. Sammenlign faserne med én evalueringsmodel.
Mål først afstanden fra original til rekonstruktion og derefter afstanden fra rekonstruktion til generering med én uændret evaluator af den afkodede tekst. Derved adskilles codecets kvalitetsloft fra den yderligere forringelse, som latent generering medfører. Følg diagnosticeringen med fire kontrolpunkter.
Et latent proxy-mål kan forbedres uden at følge den relevante efterfølgende egenskab. Afprøv overførsel ved at afkode matchede output og evaluere dem med de samme endelige metrikker; ellers er kodebogens geometri eller udnyttelse fortsat diagnostisk evidens og ikke en forbedring af tekstkvaliteten. Anvend diagnostik af proxyoverførsel.
Disse tal angiver, hvad der blev målt; de udgør ikke universelle garantier for modellen.
I én TinyStories-konfiguration med komprimering fra 64 til 16 steg medianperpleksiteten fra 15.17 for kildetekst til 27.36 efter rekonstruktion. MDLM i koderummet nåede 26.55 kontra 38.42 for baselinen i tokenrummet under den samme eksterne bedømmer.
Læs artiklens evidensgrundlagI én konfiguration med Python-funktioner på 64 tokens øgede låsning af fire koder på øverste niveau parseraten fra 0.453 til 0.591, mens ulåste positioner ændrede sig med 0.936 og betingede stikprøver forblev 0.998 unik.
Læs artiklens evidensgrundlagDe offentliggjorte eksperimenter dokumenterer ikke eksakt AST-bevarelse, semantisk ækvivalens, funktionel korrekthed, reparation på repositoryniveau eller en universel rangordning af flaskehalse i codec og generator. Vejledningerne omsætter afgrænset evidens til genanvendelige diagnostiske procedurer; hvert nyt system kræver fortsat sin egen validering af afkodet output og adfærd.