FORSKNINGSNOTAT
Forudsigelig kodegenerering kræver en bevarelseskontrakt
Hvorfor deterministisk sampling ikke er nok, og hvordan observerbare, beskyttede egenskaber og acceptkontroller gør kodegeneratorens adfærd testbar.
DIREKTE SVAR
Hvad gør kodegenerering forudsigelig frem for blot kontrollerbar?
Forudsigelighed kræver en observerbar kontrakt, der fastlægges før genereringen: Hvad må ændres, hvad skal forblive stabilt, hvordan måles hver egenskab, og hvornår afvises et output? En fast prompt, et seed, en maske, en grammatik eller en latent kode er kun en mekanisme.
Hvorfor sondringen er vigtig
Metoden og den hævdede garanti skal have den samme observerbare grænse.
Deterministisk generering gentager et output under faste betingelser. Forudsigelig generering gør en angivet egenskab testbar: Eksempelvis at en API-signatur forbliver uændret, at redigeringer holder sig inden for et område, at syntaksen forbliver gyldig, eller at en testsuite fortsat gennemføres uden fejl.
Sondringen er vigtig, fordi et styringsinput ikke definerer sin virkning. Låsning af en latent position, fastsættelse af en seed eller begrænsning af en grammatik kan gøre genereringen lettere at inspicere, men den beskyttede egenskab skal stadig måles efter afkodning.
En praktisk fremgangsmåde
Angiv beskyttede egenskaber
Angiv de kildeområder, strukturer, grænseflader, adfærdsmønstre eller fordelinger, der skal forblive inden for en defineret tolerance.
Vælg en passende styringsmekanisme
Anvend genbrug af kildekode, redigeringsmasker, formelle begrænsninger, latent låsning eller forslag efterfulgt af validering alt efter den egenskab, der skal beskyttes.
Definér acceptkriterier før sampling
Angiv kriterier for parsing, kompilering, test, strukturelle kontroller, lokalitetstærskler og opgavesucces, før output undersøges.
Mål adfærden ved gentagne kørsler
Rapportér accept, afvisning, stabilitet, diversitet og usikkerhed på tværs af gentagne kørsler frem for at basere vurderingen på ét illustrativt resultat.
Påkrævet evidens
En påstand er kun så stærk som den egenskab, der måles efter generering eller afkodning.
- Beskyttede og redigerbare egenskaber angives hver for sig.
- Enhver påstået garanti har en observerbar test eller metrik.
- Opgavesucces evalueres sammen med stabilitet.
- Variationen mellem gentagne kørsler og afvisningsraterne er synlige.
- Ikke-målte egenskaber udelukkes udtrykkeligt fra påstanden.
Hvad det linkede studie rapporterer
- Det tilknyttede eksperiment eksponerer hierarkiske diskrete positioner som en inspicerbar styringsflade for korte Python-funktioner.
- Låsning af fire positioner på øverste niveau forbedrede parseraten, samtidig med at ændringsraten i ulåste positioner og samples' unikhed forblev høje.
- Artiklen rapporterer dette som foreløbig probabilistisk evidens; den hævder ikke eksakt AST-bevarelse, semantisk ækvivalens, funktionel korrekthed eller forudsigelighed på repositoryniveau.
Afgrænsning
- Forudsigelighed er egenskabsspecifik: Et system kan være forudsigeligt med hensyn til syntaks og uforudsigeligt med hensyn til adfærd.
- Deterministisk dekodning kan gentage den samme forkerte eller for omfattende ændring.
- Det tilgængelige eksperiment på webstedet giver ingen garantier ud over den målte kontekst med korte funktioner.
Primære og nært beslægtede kilder
Konsultér de linkede artikler for de oprindelige metoder, målinger og anførte begrænsninger.
- Inspectable Control for Structure-Preserving Software Regeneration
Primært afgrænset eksperiment og angivne evidensgrænser.
- EfficientEdit: Accelerating Code Editing via Edit-Oriented Speculative Decoding
En redigeringsorienteret mekanisme, der genbruger uændrede kildekodesegmenter.
- Constrained Decoding of Diffusion LLMs with Context-Free Grammars
Et eksempel på en mekanisme med en eksplicit formel begrænsning.