Aloita havaittavasta virheestä ja etene siihen sopivan menetelmän, näytön ja soveltamisalan rajan mukaisesti.
Sama oire voi johtua esityksestä, generoinnista, ohjauksesta tai todentamisesta.
| Havaittu ongelma | Ensimmäinen diagnostinen tarkistus | Vaadittava näyttö | Menetelmä |
|---|---|---|---|
| Dekoodattu tulos on heikko, mutta epäonnistuvaa vaihetta ei tunneta | Pisteytä lähdeteksti, sitä vastaava rekonstruktio ja generoitu tuloste samalla ulkoisella arvioijalla. | Vertailukelpoiset jakaumat ja jakaumien häntäkäyttäytyminen jokaisessa vaiheessa. | Pullonkaulojen vaiheittainen diagnosointi |
| Latenttiavaruuden mittari paranee, mutta lopullinen laatu ei | Testaa, säilyykö sijaismittarin parannus purkamisen jälkeen. | Dekoodattujen tulosteiden parittaiset mittarit, ei pelkkä latenttien diagnostiikka. | Proksin siirrettävyyden tarkistus |
| Koodieditori kirjoittaa uudelleen pyydettyä aluetta laajemmin | Ilmaise täsmällinen säilytysraja ja mittaa sen ulkopuolisen alueen erotus. | Paikallisuus ja tehtävässä onnistuminen mitataan yhdessä. | Paikallisen muokkauksen arviointi |
| Refaktoroinnin on säilytettävä toiminta, ei pelkästään syntaksia | Erota ehdotus toteutuksesta ja todentamisesta. | Käännös, testit, staattiset tarkistukset ja refaktoroinnin tunnistaminen. | Ohjausrajapinnan päätöskartta |
Aktiivinen tutkimussuunta
Diskreetit esitykset koodin valikoivaan uudelleengenerointiin sekä näyttöön perustuvat valinnat rajoitetun generoinnin, tekoälyavusteisen refaktoroinnin ja ennakoitavan koodinmuokkauksen välillä.
Tutustu hankkeeseenArviointiopas
Vaiheittainen menetelmä sen ratkaisemiseksi, rajoittaako dekoodattua laatua rekonstruktio, latenttigenerointi vai sijaismittari, jonka parannus ei siirry lopulliseen tekstiin.
Avaa diagnostiikkaopasItsenäiset näyttömuistiinpanot laajempia hakuja varten, jotka eivät ala artikkelin nimellä. Jokainen niistä ohjaa asiaankuuluvaan julkaisuun ja kokotekstiin.
Vaiheittain yhdenmukainen vertailuprotokolla koodi- ja tokeniavaruuden maskatuille diffuusiokielimalleille, kun diskreetti koodekki on häviöllinen.
Miten koko funktion tarpeeton uudelleenkirjoittaminen estetään samalla, kun generatiiviselle mallille jätetään riittävästi vapautta toteuttaa pyydetty koodimuutos.
Käytännöllinen erottelu generoidun koodin kieliopillisten rajoitteiden, tyyppirajoitteiden, säilytysrajojen ja toimintatason hyväksymistarkistusten välillä.
Miten viimeaikaisia tekoälyavusteisia refaktorointimenetelmiä voidaan arvioida sekoittamatta uskottavaa generoitua korjausta todennettuun toiminnan säilymiseen.
Miksi deterministinen näytteenotto ei riitä ja kuinka havainnoitavat suojatut ominaisuudet sekä hyväksymistarkistukset tekevät koodingeneroinnin toiminnasta testattavaa.
Avaa käytännön kysymys saadaksesi tiiviin vastauksen ja siirry sitten näyttöä koskevan linkin kautta menetelmiin, mittauksiin ja rajoituksiin. Nämä ovat reittejä tutkimukseen, eivät yleispäteviä takuita.
Määritä muokattava raja ennen generointia, säilytä sen ulkopuolinen lähdekoodi tai käytä sitä uudelleen, generoi vain muutosehdokkaita ja hylkää tulokset, jotka eivät ratkaise tehtävää tai muuttavat suojattuja alueita. Hierarkkisten latenttien lukitseminen on yksi kokeellinen ohjausrajapinta, mutta se ei takaa identtisiä lähdekoodijaksoja. Vertaile paikallisen muokkauksen ohjausrajapintoja.
Mittaa pyydetyn alueen ulkopuolinen ero yhdessä tehtävän onnistumisen, muokattavan alueen muutoksen, rakenteellisten invarianttien, testien tai staattisten tarkistusten sekä toistettujen ajojen vaihtelun kanssa. Pelkkä jäsennysaste osoittaa ainoastaan syntaktisen oikeamuotoisuuden. Tarkista paikallisuutta koskevan näytön muistilista.
Raportoi suojatun alueen vakaus yhdessä muokattavan alueen vapauden ja ehdokkaiden yksilöllisyyden kanssa. Syötteen kopiointi voi maksimoida vakauden edistämättä tehtävää lainkaan, kun taas rajoittamaton uudelleenkirjoitus voi maksimoida muutoksen ja samalla tuhota paikallisuuden. Katso rajattu näyttö vakauden ja muutosvapauden suhteesta.
Paikallinen muokkaus painottaa sitä, minkä on säilyttävä muuttumattomana; rajoitettu generointi pakottaa tuotoksen täyttämään muodollisen ominaisuuden, kuten kuulumisen kielioppiin; ohjelmankorjaus puolestaan edellyttää muutoksen täyttävän vika- tai tehtävämäärittelyn. Pelkkä syntaksi ei osoita semanttista ekvivalenssia, toiminnallista oikeellisuutta, tehtävässä onnistumista eikä paikallisuutta. Vertaile kolmea tavoitetta.
Määritä suojatut ja muokattavat alueet ennen generointia, muuta vain muokattavaa esitystä, dekoodaa ja hylkää ehdokkaat, jotka muuttavat suojattua koodia tai eivät läpäise syntaksi-, testi-, staattisia tai tehtäväkohtaisten invarianttien tarkistuksia. Raportoitu hierarkkisten latenttien koe mittaa 64 tokenin funktioiden todennäköisyyspohjaista vakautta; se ei takaa koodijaksojen tai toiminnan säilymistä muuttumattomina. Tarkastele valikoivan uudelleengeneroinnin työnkulkua.
Käytä mallia muunnoksen tunnistamiseen tai ehdottamiseen, suorita muunnos mahdollisuuksien mukaan luotetulla refaktorointimoottorilla ja varmista kääntyminen, testit, staattiset tarkistukset sekä aiottu refaktorointi. Uskottavalta vaikuttava generoitu korjaustiedosto ei ole riittävä näyttö. Avaa refaktorointimenetelmän valintaopas.
Määritä havaittava säilyttämissopimus ja hyväksymistarkistukset ennen generaattorin valintaa. Ennustettavuus riippuu siitä, mikä pysyy vakaana purkamisen ja todentamisen jälkeen, eikä ainoastaan siitä, onko kehote, maski, kielioppi tai latenttikoodi kiinnitetty. Määritä säilyttämissopimus.
Samalla ulkoisella arvioijalla koodiavaruuden MDLM:n perpleksiteetin mediaani oli 26.55 ja tokeniavaruuden vertailutason 38.42, joten vähennys oli 30.9%. Koodekkirekonstruktion mediaani oli jo 27.36, minkä vuoksi tulosta on tulkittava yhdessä rekonstruktiopullonkaulan kanssa. Tarkastele raportoituja vaihekohtaisia lukuja.
Käytä samoja erillään pidettyjä näytteitä ja samaa dekoodatun tekstin arvioijaa alkuperäisille teksteille, koodekkirekonstruktioille sekä tokeni- ja koodiavaruuden tulosteille. Raportoi rekonstruktioero erikseen, sillä vahvempi latenttigeneraattori ei voi palauttaa koodekin jo poistamaa informaatiota. Vertaile vaiheita samalla arviointimittarilla.
Mittaa alkuperäisen tekstin ja rekonstruktion välinen ero ennen rekonstruktion ja generoinnin välistä eroa käyttäen samaa muuttumatonta dekoodatun tekstin arviointimenetelmää. Näin koodekin asettama laadun yläraja voidaan erottaa latentin generoinnin aiheuttamasta lisäheikennyksestä. Noudata neljän tarkistuspisteen diagnostiikkaa.
Latenttiavaruuden sijaismittari voi parantua seuraamatta myöhemmän vaiheen kiinnostavaa ominaisuutta. Siirtyminen on testattava dekoodaamalla vertailukelpoiset tulosteet ja arvioimalla ne samoilla lopullisilla mittareilla; muutoin koodikirjan geometria tai käyttöaste on vain diagnostista näyttöä, ei osoitus tekstin laadun paranemisesta. Käytä sijaismittarin siirtymisen diagnostiikkaa.
Nämä luvut yksilöivät mitatut asiat; ne eivät ole mallia koskevia yleispäteviä takeita.
Eräässä TinyStories 64-to-16 -asetelmassa perplexiteetin mediaani nousi arvosta 15.17 lähdetekstillä arvoon 27.36 rekonstruktion jälkeen. Koodiavaruuden MDLM saavutti arvon 26.55 verrattuna 38.42 tokeniavaruuden perustasolla saman ulkoisen arvioijan mukaan.
Tutustu artikkelin evidenssiinEräässä 64 tokenin Python-funktioasetelmassa neljän ylätason koodin lukitseminen nosti jäsennysasteen arvosta 0.453 kohteeseen 0.591, kun taas lukitsemattomien positioiden muutosaste oli 0.936 ja ehdolliset näytteet säilyivät 0.998 yksikäsitteinen.
Tutustu artikkelin evidenssiinJulkaistut kokeet eivät osoita AST:n täsmällistä säilymistä, semanttista ekvivalenssia, toiminnallista oikeellisuutta, repositoriotason korjaamista eivätkä koodekin ja generaattorin pullonkaulojen yleispätevää järjestystä. Oppaat muuntavat rajatun näytön uudelleenkäytettäviksi diagnostiikkamenettelyiksi; jokainen uusi järjestelmä edellyttää silti omaa puretun tuloksen ja käyttäytymistason validointia.