Začněte pozorovatelným selháním a poté zvolte odpovídající metodu, důkazy a hranici rozsahu platnosti.
Tentýž příznak může pramenit z reprezentace, generování, kontroly nebo ověřování.
| Pozorovaný problém | První diagnostický krok | Požadované důkazy | Metoda |
|---|---|---|---|
| Dekódovaný výstup je nekvalitní, není však známo, která fáze selhává | Ohodnotit zdrojový text, odpovídající rekonstrukci a generovaný výstup stejným externím hodnotitelem. | Srovnatelná rozdělení a chování jejich chvostů v každé fázi. | Postupná diagnostika úzkých míst |
| Metrika v latentním prostoru se zlepší, konečná kvalita však nikoli | Ověřte, zda se zlepšení zástupné metriky projeví i po dekódování. | Párové metriky dekódovaných výstupů, nikoli pouze diagnostika latentních reprezentací. | Ověření přenosu zástupné metriky |
| Editor kódu přepisuje více než požadovanou oblast | Výslovně určete hranici zachování a změřte rozdíl mimo vymezenou oblast. | Lokalita a úspěšnost řešení úlohy se měří společně. | Hodnocení lokalizovaných úprav |
| Refaktorizace musí zachovat chování, nikoli pouze syntaxi | Oddělte návrh od provedení a ověření. | Kompilace, testy, statické kontroly a detekce refaktorizace. | Rozhodovací mapa rozhraní kontroly |
Aktivní směr výzkumu
Diskrétní reprezentace pro selektivní regenerování kódu spolu s volbou mezi omezeným generováním, refaktoringem podporovaným AI a předvídatelnými úpravami kódu, která se řídí dostupnými důkazy.
Prozkoumat projektPrůvodce evaluací
Metoda pro jednotlivé fáze, která určuje, zda kvalitu dekódovaného výstupu omezuje rekonstrukce, generování v latentním prostoru, nebo zástupná metrika, jejíž zlepšení se do výsledného textu nepřenáší.
Otevřít diagnostickou příručkuSamostatné poznámky k důkazům určené pro širší vyhledávání, která nezačínají názvem článku. Každá odkazuje zpět na příslušnou publikaci a její plný text.
Protokol konzistentního mezifázového srovnání maskovaných difuzních jazykových modelů v prostoru kódů a tokenů při použití ztrátového diskrétního kodeku.
Jak zabránit zbytečnému přepisování celé funkce a současně ponechat generativnímu modelu dostatek volnosti k provedení požadované změny kódu.
Praktické rozlišení gramatických omezení, typových omezení, hranic zachování a akceptačních kontrol generovaného kódu na úrovni chování.
Jak hodnotit současné metody refaktorizace podporované umělou inteligencí, aniž bychom zaměňovali věrohodně působící vygenerovanou záplatu za ověřené zachování chování.
Proč deterministické vzorkování nestačí a jak pozorovatelné chráněné vlastnosti spolu s akceptačními kontrolami umožňují testovat chování generování kódu.
Otevřete praktickou otázku a přečtěte si stručnou odpověď; odkaz na doklady vás poté zavede k metodám, měřením a omezením. Jde o vstupní body do výzkumu, nikoli o univerzální záruky.
Před generováním vymezte hranici editace, zachovejte nebo znovu použijte zdrojový kód mimo ni, generujte pouze kandidátní změny a zamítněte výstupy, které nesplní úlohu nebo změní chráněné oblasti. Hierarchické uzamčení latentních reprezentací je jedním z experimentálních rozhraní kontroly, nezaručuje však totožné úseky zdrojového kódu. Porovnejte rozhraní pro lokalizovanou kontrolu editace.
Rozdíl mimo požadovanou oblast měřte společně s úspěšností úlohy, změnou v upravitelné oblasti, strukturálními invarianty, testy či statickými kontrolami a variabilitou opakovaných běhů. Samotná úspěšnost syntaktické analýzy dokládá pouze syntaktickou korektnost. Projděte kontrolní seznam důkazů o lokalitě změn.
Vedle volnosti v upravitelné oblasti a jedinečnosti kandidátů uvádět také stabilitu chráněné oblasti. Kopírování vstupu může maximalizovat stabilitu, aniž přinese jakýkoli pokrok v úloze; neomezený přepis může maximalizovat rozsah změny, ale současně zničit její lokalitu. Viz vymezené důkazy o vztahu stability a volnosti.
Lokalizované úpravy kladou důraz na to, co se nesmí změnit, omezené generování vynucuje formální vlastnost výstupu, například příslušnost ke gramatice, a oprava programu vyžaduje, aby změna splňovala specifikaci vady nebo úlohy. Samotná syntaxe nedokládá sémantickou ekvivalenci, funkční správnost, úspěšné splnění úlohy ani lokalitu. Porovnejte tři cíle.
Před generováním vymezte chráněné a editovatelné oblasti, upravujte pouze editovatelnou reprezentaci, proveďte dekódování a zamítněte kandidáty, kteří mění chráněný kód nebo nesplní požadavky na syntax, testy, statické kontroly či invarianty specifické pro danou úlohu. Popsaný experiment s hierarchickými latentními reprezentacemi měří pravděpodobnostní stabilitu na 64tokenových funkcích; nezaručuje nezměněné úseky ani chování. Prozkoumejte postup selektivního opětovného generování.
Model použijte k rozpoznání nebo návrhu transformace, poté ji pokud možno proveďte důvěryhodným refaktorizačním nástrojem a ověřte kompilaci, testy, statické kontroly i zamýšlenou refaktorizaci. Věrohodně působící vygenerovaná záplata není dostatečným dokladem. Otevřít řádek s rozhodnutím o refaktorizaci.
Před volbou generátoru stanovte pozorovatelný kontrakt zachování a akceptační kontroly. Předvídatelnost závisí na tom, co zůstává stabilní po dekódování a ověření, nikoli pouze na tom, zda byl pevně zadán prompt, maska, gramatika nebo latentní kód. Definujte kontrakt zachování.
Při použití téhož externího hodnotitele dosáhl MDLM v prostoru kódů mediánu perplexity 26.55 oproti 38.42 u výchozího modelu v prostoru tokenů, tedy snížení o 30.9 %. Medián rekonstrukce kodekem však již činil 27.36, a výsledek je proto nutné vykládat společně s úzkým hrdlem rekonstrukce. Prozkoumejte uvedené výsledky po jednotlivých fázích.
Pro originály, rekonstrukce kodekem, výstupy v prostoru tokenů a výstupy v prostoru kódů použijte stejné vyčleněné vzorky a stejného hodnotitele dekódovaného textu. Rozdíl způsobený rekonstrukcí uvádějte samostatně, protože ani výkonnější generátor v latentním prostoru nedokáže obnovit informace, které kodek již odstranil. Porovnejte fáze pomocí jediného hodnoticího modelu.
Pomocí jediného, nezměněného hodnotitele dekódovaného textu nejprve změřte rozdíl mezi originálem a rekonstrukcí a teprve poté rozdíl mezi rekonstrukcí a generovaným výstupem. Tím oddělíte horní mez kvality danou kodekem od dalšího zhoršení způsobeného latentním generováním. Postupujte podle diagnostiky se čtyřmi kontrolními body.
Zástupná metrika v latentním prostoru se může zlepšit, aniž by postihovala sledovanou vlastnost výsledného výstupu. Přenos ověřte dekódováním odpovídajících si výstupů a jejich vyhodnocením stejnými konečnými metrikami; jinak geometrie či využití číselníku kódů zůstávají pouze diagnostickým dokladem, nikoli zlepšením kvality textu. Použijte diagnostiku přenosu zástupných ukazatelů.
Tato čísla určují, co bylo měřeno; nepředstavují univerzální záruky modelu.
V jednom uspořádání TinyStories s kompresí 64 na 16 vzrostl medián perplexity z 15.17 pro zdrojový text na 27.36 po rekonstrukci. MDLM v prostoru kódů dosáhl 26.55 oproti 38.42 pro výchozí úroveň v prostoru tokenů při použití téhož externího hodnotitele.
Prostudovat důkazy uvedené v článkuV jednom uspořádání s funkcemi v jazyce Python o 64 tokenech zvýšilo uzamčení čtyř kódů nejvyšší úrovně podíl syntakticky analyzovatelných výstupů z 0.453 do 0.591, zatímco neuzamčené pozice se změnily v míře 0.936 a podmíněné vzorky zůstaly 0.998 jedinečné.
Prostudovat důkazy uvedené v článkuPublikované experimenty nedokládají přesné zachování AST, sémantickou ekvivalenci, funkční správnost, opravy v měřítku repozitáře ani univerzální pořadí úzkých míst kodeku a generátoru. Příručky převádějí omezené důkazy do opakovaně použitelných diagnostických postupů; každý nový systém přesto vyžaduje vlastní validaci dekódovaného výstupu a chování.