Začnite pozorovateľným zlyhaním a potom zvoľte metódu, dôkazy a hranicu rozsahu, ktoré mu zodpovedajú.
Rovnaký príznak môže pochádzať z reprezentácie, generovania, kontroly alebo overovania.
| Pozorovaný problém | Prvý diagnostický krok | Požadované dôkazy | Metóda |
|---|---|---|---|
| Dekódovaný výstup je nekvalitný, nie je však známe, ktorá etapa zlyháva | Vyhodnotiť zdroj, zodpovedajúcu rekonštrukciu a generovaný výstup rovnakým externým hodnotiteľom. | Porovnateľné rozdelenia a správanie chvostov v každej etape. | Viacfázová diagnostika úzkych miest |
| Metrika latentného priestoru sa zlepšuje, konečná kvalita však nie | Overte, či sa zlepšenie zástupnej metriky prejaví aj po dekódovaní. | Párované metriky dekódovaného výstupu, nie iba diagnostika latentného priestoru. | Kontrola prenosu zástupnej metriky |
| Editor kódu prepisuje viac než požadovanú oblasť | Explicitne stanovte hranicu zachovania a zmerajte rozdiel mimo chránenej oblasti. | Lokálnosť a úspešnosť úlohy sa merajú spoločne. | Hodnotenie lokalizovaných úprav |
| Refaktorovanie musí zachovať správanie, nielen syntax | Oddeľte návrh od vykonania a overenia. | Kompilácia, testy, statické kontroly a detekcia refaktorizácie. | Rozhodovacia mapa kontrolných rozhraní |
Aktívny smer výskumu
Diskrétne reprezentácie na selektívne opätovné generovanie kódu spolu s voľbou medzi obmedzeným generovaním, refaktoringom s podporou AI a predvídateľnou úpravou kódu, ktorá sa opiera o dôkazy.
Preskúmať projektMetodika hodnotenia
Etapová metóda na určenie, či kvalitu dekódovaného výstupu obmedzuje rekonštrukcia, generovanie latentných reprezentácií alebo zástupná metrika, ktorej zlepšenie sa neprenáša do výsledného textu.
Otvoriť diagnostickú príručkuSamostatné poznámky k dôkazom určené na širšie vyhľadávanie, ktoré sa nezačína názvom článku. Každá odkazuje späť na príslušnú publikáciu a jej úplný text.
Protokol etapovo konzistentného porovnania maskovaných difúznych jazykových modelov v priestore kódov a tokenov pri stratovom diskrétnom kodeku.
Ako predísť zbytočnému prepisovaniu celej funkcie a zároveň ponechať generatívnemu modelu dostatočnú voľnosť na vykonanie požadovanej zmeny kódu.
Praktické rozlíšenie gramatických obmedzení, typových obmedzení, hraníc zachovania a akceptačných kritérií správania generovaného kódu.
Ako hodnotiť najnovšie metódy refaktorizácie s podporou AI bez toho, aby sa vierohodne pôsobiaca vygenerovaná úprava zamieňala za overené zachovanie správania.
Prečo deterministické vzorkovanie nestačí a ako pozorovateľné chránené vlastnosti spolu s akceptačnými kritériami umožňujú testovať správanie pri generovaní kódu.
Otvorte praktickú otázku a získajte stručnú odpoveď; následne prejdite na odkaz s dôkazmi, kde nájdete metódy, merania a obmedzenia. Ide o vstupné cesty k výskumu, nie o všeobecné záruky.
Pred generovaním definujte hranicu upravovateľnej oblasti, zdrojový kód mimo nej zachovajte alebo opätovne použite, generujte iba kandidátne zmeny a zamietnite výstupy, ktoré nesplnia úlohu alebo menia chránené oblasti. Hierarchické uzamknutie latentných reprezentácií je jedným z experimentálnych kontrolných rozhraní, nezaručuje však totožné rozsahy zdrojového kódu. Porovnajte kontrolné rozhrania lokalizovaných úprav.
Rozdiel mimo požadovanej oblasti merajte spolu s úspešnosťou úlohy, zmenou upraviteľnej oblasti, štruktúrnymi invariantmi, testami alebo statickými kontrolami a variabilitou medzi opakovanými behmi. Samotná úspešnosť syntaktickej analýzy potvrdzuje iba syntaktickú správnosť. Prejsť kontrolný zoznam dôkazov o lokalite.
Stabilitu chránenej oblasti uvádzať spolu s voľnosťou v upraviteľnej oblasti a jedinečnosťou kandidátov. Kopírovanie vstupu môže maximalizovať stabilitu bez akéhokoľvek pokroku v úlohe; neobmedzené prepisovanie môže maximalizovať rozsah zmien, no zároveň zničiť lokalitu. Pozrite si dôkazy o ohraničenom vzťahu medzi stabilitou a voľnosťou.
Lokalizovaná úprava zdôrazňuje, čo musí zostať nezmenené; generovanie s obmedzeniami vynucuje formálnu vlastnosť výstupu, napríklad príslušnosť ku gramatike; oprava programu zasa vyžaduje, aby zmena spĺňala špecifikáciu chyby alebo úlohy. Samotná syntax nedokazuje sémantickú ekvivalenciu, funkčnú správnosť, úspešnosť úlohy ani lokálnosť. Porovnajte tri ciele.
Pred generovaním definujte chránené a upravovateľné oblasti, meňte iba upravovateľnú reprezentáciu, vykonajte dekódovanie a zamietnite kandidátov, ktorí menia chránený kód alebo nevyhovejú syntaxi, testom, statickým kontrolám či invariantom špecifickým pre úlohu. Opísaný experiment s hierarchickými latentnými reprezentáciami meria pravdepodobnostnú stabilitu funkcií so 64 tokenmi; nezaručuje nezmenené rozsahy ani správanie. Preskúmajte pracovný postup selektívneho opätovného generovania.
Model použite na identifikáciu alebo návrh transformácie; ak je to možné, vykonajte ju dôveryhodným refaktorizačným nástrojom a overte kompiláciu, testy, statické kontroly aj zamýšľanú refaktorizáciu. Vierohodne pôsobiaca vygenerovaná úprava nie je dostatočným dôkazom. Otvoriť riadok rozhodovania o refaktoringu.
Pred výberom generátora stanovte pozorovateľnú špecifikáciu zachovania a akceptačné kritériá. Predvídateľnosť závisí od toho, čo zostane stabilné po dekódovaní a overení, nielen od toho, či bolo pevne určené zadanie, maska, gramatika alebo latentný kód. Definujte dohodu o zachovaní.
Pri rovnakom externom hodnotiteľovi dosiahol MDLM v priestore kódov medián perplexity 26.55 oproti hodnote 38.42 pri základnom modeli v priestore tokenov, teda zníženie o 30.9 %. Medián rekonštrukcie kodekom bol už 27.36, preto výsledok treba interpretovať spolu s úzkym miestom rekonštrukcie. Preskúmajte uvedené hodnoty pre jednotlivé stupne.
Pre originály, rekonštrukcie kodekom, výstupy v priestore tokenov a výstupy v priestore kódov použite rovnaké vyčlenené vzorky a rovnakého hodnotiteľa dekódovaného textu. Rozdiel rekonštrukcie uvádzajte samostatne, pretože výkonnejší generátor v latentnom priestore nedokáže obnoviť informáciu, ktorú kodek už odstránil. Porovnajte etapy pomocou jedného hodnotiaceho modelu.
Pri použití jediného nezmeneného hodnotiteľa dekódovaného textu najprv zmerajte rozdiel medzi originálom a rekonštrukciou a až potom rozdiel medzi rekonštrukciou a generovaním. Tak sa oddelí horná hranica kvality daná kodekom od dodatočného zhoršenia spôsobeného latentným generovaním. Postupujte podľa diagnostiky so štyrmi kontrolnými bodmi.
Zástupná metrika v latentnom priestore sa môže zlepšiť bez toho, aby sledovala cieľovú vlastnosť nadväzujúcej úlohy. Prenos overte dekódovaním porovnateľných výstupov a ich vyhodnotením rovnakými konečnými metrikami; inak geometria alebo využitie číselníka zostávajú len diagnostickým dôkazom, nie zlepšením kvality textu. Použite diagnostiku prenosu zástupných ukazovateľov.
Tieto čísla určujú, čo sa meralo; nie sú univerzálnymi zárukami vlastností modelu.
V jednej konfigurácii TinyStories s kompresiou zo 64 na 16 vzrástol medián perplexity z 15.17 pre zdrojový text na 27.36 po rekonštrukcii. MDLM v priestore kódov dosiahol 26.55 oproti 38.42 pre východiskovú úroveň v priestore tokenov pri použití rovnakého externého hodnotiaceho nástroja.
Prečítať dôkazy uvedené v článkuV jednej konfigurácii funkcií jazyka Python so 64 tokenmi zvýšilo uzamknutie štyroch kódov najvyššej úrovne mieru úspešnej syntaktickej analýzy z 0.453 na 0.591, zatiaľ čo odomknuté pozície sa zmenili v 0.936 a podmienené vzorky zostali 0.998 jedinečné.
Prečítať dôkazy uvedené v článkuPublikované experimenty nepreukazujú presné zachovanie AST, sémantickú ekvivalenciu, funkčnú správnosť, opravy v rozsahu repozitára ani univerzálne poradie úzkych miest kodeku a generátora. Príručky pretvárajú ohraničené dôkazy na opakovane použiteľné diagnostické postupy; každý nový systém si naďalej vyžaduje vlastné overenie dekódovaného výstupu a správania.