Zacznij od obserwowalnego rodzaju błędu, a następnie dobierz do niego metodę, podstawę empiryczną i granice zakresu.
Ten sam objaw może wynikać z reprezentacji, generowania, kontroli lub weryfikacji.
| Zaobserwowany problem | Pierwszy test diagnostyczny | Dowody, których należy wymagać | Metoda |
|---|---|---|---|
| Wynik po dekodowaniu jest słaby, lecz nie wiadomo, który etap zawodzi | Oceń tekst źródłowy, odpowiadającą mu rekonstrukcję oraz wygenerowany wynik za pomocą tego samego zewnętrznego ewaluatora. | Porównywalne rozkłady i zachowanie ogonów na każdym etapie. | Etapowa diagnostyka wąskiego gardła |
| Metryka przestrzeni ukrytej poprawia się, lecz jakość końcowa nie | Sprawdź, czy poprawa miary zastępczej utrzymuje się po dekodowaniu. | Sparowane metryki zdekodowanego wyniku, a nie wyłącznie diagnostyka przestrzeni ukrytej. | Kontrola przenoszenia miary zastępczej |
| Edytor kodu przepisuje więcej niż wskazany obszar | Należy jawnie określić granicę zachowania i zmierzyć różnicę poza obszarem podlegającym zmianom. | Lokalność i powodzenie zadania mierzone łącznie. | Ocena edycji lokalnej |
| Refaktoryzacja musi zachowywać zachowanie, nie tylko składnię | Oddziel propozycję od wykonania i weryfikacji. | Kompilacja, testy, analiza statyczna i wykrywanie refaktoryzacji. | Mapa decyzyjna interfejsów sterowania |
Aktywny kierunek badań
Dyskretne reprezentacje do selektywnej regeneracji kodu oraz oparty na dowodach wybór między generowaniem z ograniczeniami, refaktoryzacją wspomaganą przez AI i przewidywalną edycją kodu.
Poznaj projektPrzewodnik po ewaluacji
Metoda etapowego ustalania, czy jakość po dekodowaniu jest ograniczana przez rekonstrukcję, generowanie w przestrzeni ukrytej czy miarę zastępczą, której poprawa nie przenosi się na tekst końcowy.
Otwórz przewodnik diagnostycznySamodzielne notatki dowodowe przeznaczone do szerszych wyszukiwań, które nie rozpoczynają się od tytułu artykułu. Każda prowadzi do odpowiedniej publikacji i jej pełnego tekstu.
Protokół porównawczy spójny między etapami dla maskowanych dyfuzyjnych modeli językowych działających w przestrzeni kodów i w przestrzeni tokenów, gdy kodek dyskretny jest stratny.
Jak zapobiegać zbędnemu przepisywaniu całej funkcji, a zarazem pozostawić modelowi generatywnemu dość swobody, by wprowadził żądaną zmianę w kodzie.
Praktyczne rozróżnienie między ograniczeniami gramatycznymi, ograniczeniami typów, granicami zachowania a testami akceptacyjnymi wygenerowanego kodu na poziomie zachowania.
Jak oceniać najnowsze metody refaktoryzacji wspomaganej przez AI, nie myląc wiarygodnie wyglądającej wygenerowanej poprawki ze zweryfikowanym zachowaniem programu.
Dlaczego próbkowanie deterministyczne nie wystarcza oraz w jaki sposób obserwowalne właściwości chronione i kryteria akceptacji pozwalają testować zachowanie procesu generowania kodu.
Otwórz praktyczne pytanie, aby uzyskać zwięzłą odpowiedź, a następnie przejdź do odsyłacza z materiałem dowodowym, by poznać metody, pomiary i ograniczenia. Są to ścieżki prowadzące do wyników badań, a nie uniwersalne gwarancje.
Przed generowaniem wyznacz granicę obszaru edytowalnego, zachowaj lub ponownie wykorzystaj kod źródłowy poza nią, generuj wyłącznie proponowane zmiany i odrzucaj wyniki, które nie realizują zadania lub modyfikują obszary chronione. Hierarchiczne blokowanie reprezentacji ukrytych stanowi jeden z eksperymentalnych interfejsów sterowania, lecz nie gwarantuje identyczności fragmentów kodu źródłowego. Porównaj interfejsy sterowania edycją lokalną.
Różnicę poza żądanym obszarem należy mierzyć łącznie z powodzeniem zadania, zmianą w obszarze edytowalnym, niezmiennikami strukturalnymi, testami lub analizami statycznymi oraz zmiennością między powtórzeniami. Sam odsetek poprawnego parsowania potwierdza jedynie poprawność składniową. Zapoznaj się z listą kontrolną materiału dowodowego dotyczącego lokalności.
Raportuj stabilność regionu chronionego wraz ze swobodą w regionie edytowalnym i unikatowością rozwiązań kandydujących. Kopiowanie danych wejściowych może maksymalizować stabilność, nie przybliżając realizacji zadania; nieograniczone przepisywanie może maksymalizować skalę zmian kosztem utraty lokalności. Zobacz dowody dotyczące ograniczonej równowagi między stabilnością a swobodą.
Edycja lokalna akcentuje to, co musi pozostać niezmienione; generowanie z ograniczeniami wymusza formalną właściwość wyniku, taką jak przynależność do gramatyki; naprawa programu zaś wymaga, by zmiana spełniała specyfikację usterki lub zadania. Sama składnia nie dowodzi równoważności semantycznej, poprawności funkcjonalnej, powodzenia zadania ani lokalności. Porównaj trzy funkcje celu.
Przed generowaniem wyznacz obszary chronione i edytowalne, modyfikuj wyłącznie reprezentację edytowalną, przeprowadź dekodowanie i odrzuć kandydatów, którzy zmieniają chroniony kod albo nie spełniają wymagań składni, testów, analizy statycznej lub niezmienników właściwych dla zadania. Opisany eksperyment z hierarchicznymi reprezentacjami ukrytymi mierzy probabilistyczną stabilność funkcji 64-tokenowych; nie gwarantuje niezmienności fragmentów ani zachowania programu. Przeanalizuj procedurę selektywnego ponownego generowania.
Model należy wykorzystać do rozpoznania lub zaproponowania transformacji, a następnie — o ile to możliwe — przeprowadzić ją za pomocą zaufanego mechanizmu refaktoryzacji oraz zweryfikować kompilację, testy, analizę statyczną i zgodność z zamierzoną refaktoryzacją. Wiarygodnie wyglądająca wygenerowana poprawka nie stanowi wystarczającego dowodu. Otwórz wiersz decyzji dotyczącej refaktoryzacji.
Przed wyborem generatora należy określić obserwowalny kontrakt zachowania i kryteria akceptacji. Przewidywalność zależy od tego, co pozostaje stabilne po dekodowaniu i weryfikacji, a nie tylko od ustalenia promptu, maski, gramatyki lub kodu w przestrzeni ukrytej. Zdefiniuj kontrakt zachowania.
Przy zastosowaniu tego samego zewnętrznego modelu oceniającego mediana perplexity dla MDLM w przestrzeni kodów wyniosła 26.55 wobec 38.42 dla modelu bazowego w przestrzeni tokenów, co oznacza spadek o 30.9%. Mediana dla rekonstrukcji kodeka wynosiła już 27.36, dlatego wynik należy interpretować łącznie z wąskim gardłem rekonstrukcji. Przeanalizuj podane wartości dla poszczególnych etapów.
Dla oryginałów, rekonstrukcji kodeka oraz wyników w przestrzeni tokenów i kodów należy użyć tych samych próbek testowych i tego samego modelu oceniającego zdekodowany tekst. Lukę rekonstrukcji trzeba raportować oddzielnie, ponieważ nawet lepszy generator latentny nie odzyska informacji uprzednio usuniętych przez kodek. Porównaj etapy za pomocą jednej funkcji oceniającej.
Przy użyciu jednego, niezmienionego ewaluatora zdekodowanego tekstu należy najpierw zmierzyć lukę między oryginałem a rekonstrukcją, a następnie lukę między rekonstrukcją a wynikiem generowania. Pozwala to oddzielić pułap jakości narzucony przez kodek od dodatkowego pogorszenia wprowadzanego przez generowanie w przestrzeni ukrytej. Przeprowadź diagnostykę obejmującą cztery punkty kontrolne.
Miara zastępcza w przestrzeni ukrytej może się poprawić, choć nie odzwierciedla interesującej właściwości końcowej. Przenoszenie poprawy należy sprawdzić przez zdekodowanie dopasowanych wyników i ocenę za pomocą tych samych metryk końcowych; w przeciwnym razie geometria lub wykorzystanie książki kodowej pozostają jedynie dowodem diagnostycznym, a nie świadectwem wzrostu jakości tekstu. Zastosuj diagnostykę przenoszenia wskaźników zastępczych.
Wartości te wskazują zakres pomiarów; nie stanowią uniwersalnych gwarancji dotyczących modelu.
W jednej konfiguracji TinyStories 64-do-16 mediana perplexity wzrosła z 15.17 dla tekstu źródłowego do 27.36 po rekonstrukcji. MDLM w przestrzeni kodów osiągnął 26.55 wobec 38.42 dla wyniku bazowego w przestrzeni tokenów przy tej samej zewnętrznej metodzie oceny.
Zapoznaj się z materiałem dowodowym publikacjiW jednej konfiguracji funkcji w języku Python o długości 64 tokenów zablokowanie czterech kodów najwyższego poziomu zwiększyło odsetek poprawnego parsowania z 0.453 do 0.591, podczas gdy niezablokowane pozycje zmieniły się w 0.936 a próbki warunkowe pozostały 0.998 unikatowe.
Zapoznaj się z materiałem dowodowym publikacjiOpublikowane eksperymenty nie dowodzą dokładnego zachowania AST, równoważności semantycznej, poprawności funkcjonalnej, naprawy w skali repozytorium ani uniwersalnego uporządkowania wąskich gardeł kodeka i generatora. Przewodniki przekształcają dowody o ograniczonym zakresie w procedury diagnostyczne nadające się do ponownego użycia; każdy nowy system nadal wymaga odrębnej walidacji zdekodowanych wyników i zachowania.