ARAŞTIRMA NOTU
Yapay zekâ destekli yeniden düzenleme: yöntemler ve kanıtlar
Yakın tarihli yapay zekâ destekli yeniden düzenleme yöntemleri, makul görünen üretilmiş bir yama doğrulanmış davranış korumasıyla karıştırılmadan nasıl değerlendirilir?
DOĞRUDAN YANIT
Yapay zekâ destekli, davranışı koruyan yeniden düzenleme için hangi yöntem ve kanıtlar önemlidir?
Dönüşüm önerisini güvenilir yürütme ve doğrulamadan ayırın. Mümkün olduğunda modelin bir yeniden düzenlemeyi belirlemesini, bunun da bir yeniden düzenleme motoruyla uygulanmasını sağlayın; ardından derleme, testler, statik denetimler ve amaçlanan dönüşümün gerçekleştiğine dair kanıt arayın.
Bu ayrım neden önemlidir?
Yöntem ile öne sürülen güvence aynı gözlemlenebilir sınıra dayanmalıdır.
Yeniden düzenlemenin, iç yapıyı iyileştirirken gözlemlenebilir davranışı koruması beklenir. Bir dil modeli, bu sözleşmenin iki unsurunu da güvence altına almadan ikna edici bir yeniden yazım önerebilir; dolayısıyla yüzeysel inandırıcılık yeterli değildir.
Yakın tarihli çalışmalar rolleri farklı biçimlerde ayırır: Bir model, güvenilir bir motorun yürütmesi için bilinen bir dönüşümü belirleyebilir ya da daha sonra derleme, test, statik analiz ve yeniden düzenleme tespitine tabi tutulacak bir yama üretebilir. Doğrulama yüzeyi en az model kadar önemlidir.
Uygulamaya dönük bir yöntem
Amaçlanan yeniden düzenlemeyi belirtin
Genel bir temizleme istemek yerine, yapısal değişikliği ve kararlı kalması gereken davranışı açıkça belirtin.
Bilinen dönüşümler için güvenilir yürütmeyi tercih edin
Bir yeniden düzenleme motoru işlemi destekliyorsa modeli saptama veya parametre seçimi, motoru ise uygulama için kullanın.
Üretilen yamaları depo düzeyinde doğrulayın
Derleyin, ilgili testleri çalıştırın, statik denetimleri uygulayın ve amaçlanan yeniden düzenlemenin ilgisiz değişiklikler olmadan gerçekleştiğini doğrulayın.
Artakalan riski denetleyin
Kapsanmayan davranışları, kararsız testleri, dosyalar arası etkileri ve makul görünen bir yamanın doğrulanamadığı durumları kaydedin.
Gerekli tutulacak kanıt
Bir iddianın gücü, üretim veya kod çözme sonrasında ölçülen özelliğin sağladığı kanıtla sınırlıdır.
- Dönüşüm açıkça tanımlanır; yalnızca kod kalitesinde iyileştirme olarak betimlenmez.
- Değişiklikten sonra derleme ve ilgili testler başarıyla tamamlanır.
- Statik denetimler ve yeniden düzenleme tespiti, yapısal iddiayı destekler.
- Amaçlanan kapsamın dışındaki ilgisiz fark ölçülür veya incelenir.
- Depo bağlamına ve test kapsamına ilişkin kısıtlar açıklanır.
Bağlantısı verilen çalışmanın bildirdikleri
- Sitedeki hiyerarşik gizil denetime ilişkin makale, davranışı koruyan yeniden düzenleme için bir karşılaştırma ölçütü değil, sınırlandırılmış üretime dair tamamlayıcı bir kanıttır.
- Ayrıştırma oranı, düzenleme serbestliği ve çeşitlilik ölçümleri denetim yüzeyi tasarımına yön verebilir; ancak derlemenin, testlerin veya yeniden düzenleme tespitinin yerini tutmaz.
- Yeniden düzenlemeye ilişkin iddialarda kanıt sözleşmesi, davranışı ve depoyu gözetmeye devam etmelidir.
Kapsam sınırı
- Mevcut testleri geçmek, sınanmamış davranışlar bakımından anlamsal eşdeğerliği kanıtlamaz.
- Daha küçük bir fark, kendiliğinden doğru bir yeniden düzenleme anlamına gelmez.
- Bağlantı verilen site deneyi kısa Python işlevlerini kapsar ve depo düzeyinde yeniden düzenlemeyi değerlendirmez.
Birincil ve yakın kaynaklar
Özgün yöntemler, ölçümler ve belirtilen sınırlılıklar için bağlantısı verilen makalelere başvurun.
- An Empirical Study on the Potential of LLMs in Automated Software Refactoring
LLM'nin önerdiği yeniden düzenlemeleri ve bunların güvenilir bir yeniden düzenleme motoruyla yeniden uygulanmasını inceler.
- SWE-Refactor: A Repository-Level Benchmark for Real-World LLM-Based Code Refactoring
Depo düzeyinde derleme, testler ve yeniden düzenleme odaklı değerlendirme.
- Inspectable Control for Structure-Preserving Software Regeneration
İlgili sınırlandırılmış üretim kanıtları ve açıkça belirtilen kısıtlar.