AG — Alexey Gavrilov home

ИЗСЛЕДОВАТЕЛСКА БЕЛЕЖКА

Рефакториране с помощта на ИИ: методи и доказателства

Как да се оценяват съвременните методи за рефакториране с помощта на изкуствен интелект, без правдоподобна генерирана кръпка да се бърка с проверено запазване на поведението.

Публикувано

Споделете тази изследователска бележкаСподеляне

ПРЯК ОТГОВОР

Кои методи и доказателства са съществени за рефакториране със запазване на поведението и помощ от ИИ?

Разграничете предложението за трансформация от довереното изпълнение и проверката. Когато е възможно, оставете модела да определи рефакториране, което да бъде приложено чрез специализиран механизъм; след това изисквайте компилация, тестове, статични проверки и доказателства, че замислената трансформация е извършена.

Защо разграничението е важно

Методът и заявената гаранция трябва да имат една и съща наблюдаема граница.

От рефакторирането се очаква да запази наблюдаемото поведение, като същевременно подобри вътрешната структура. Езиков модел може да предложи убедително пренаписване, без да установи нито една от двете части на това изискване, поради което повърхнинната правдоподобност не е достатъчна.

Скорошните изследвания разграничават ролите по различни начини: моделът може да определи известна трансформация, която да бъде изпълнена от доверен механизъм, или да генерира кръпка, която впоследствие да се подложи на компилация, тестове, статичен анализ и откриване на рефакториране. Обхватът на проверката е също толкова важен, колкото и моделът.

Практическа процедура

  1. Определете замисленото рефакториране

    Посочете структурната промяна и поведението, което трябва да остане стабилно, вместо да заявявате общо почистване на кода.

  2. Предпочитайте доверено изпълнение за известни трансформации

    Когато механизмът за рефакториране поддържа операцията, използвайте модела за откриване или избор на параметри, а механизма — за прилагането ѝ.

  3. Проверявайте генерираните кръпки на равнището на хранилището

    Компилирайте, изпълнете съответните тестове, приложете статични проверки и потвърдете, че желаното рефакториране е извършено без несвързани промени.

  4. Проверка на остатъчния риск

    Документирайте непокритото поведение, нестабилните тестове, ефектите между файлове и случаите, в които правдоподобна кръпка не е могла да бъде проверена.

Изисквани доказателства

Едно твърдение е убедително само доколкото е надеждно измерено съответното свойство след генерирането или декодирането.

  • Трансформацията е конкретно определена, а не е описана само като подобряване на качеството на кода.
  • След промяната компилацията и съответните тестове преминават успешно.
  • Статичните проверки и откриването на рефакториране подкрепят твърдението за структурата.
  • Несвързаните разлики извън предвидения обхват се измерват или преглеждат.
  • Ограниченията, свързани с контекста на хранилището и тестовото покритие, са оповестени.

Какво отчита свързаното изследване

  • Публикацията на сайта за йерархичен латентен контрол предоставя свързани данни за ограничено генериране, а не е еталон за рефакториране със запазване на поведението.
  • Измерванията на дела на успешно синтактично анализираните примери, свободата за редактиране и разнообразието могат да подпомогнат проектирането на интерфейса за контрол, но не заменят компилацията, тестовете или откриването на рефакториране.
  • При твърдения за рефакториране договорът за доказателства следва да отчита както поведението, така и хранилището.

Прочетете обзора на публикацията Търсене в пълния текст на статията

Граница на обхвата

  • Успешното преминаване на наличните тестове не доказва семантична еквивалентност за непровереното поведение.
  • По-малката разлика не означава автоматично правилно рефакториране.
  • Свързаният експеримент в сайта обхваща кратки Python функции и не оценява рефакториране на ниво хранилище.
Отваряне на реда с решението за рефакториране

Основни и сродни източници

Направете справка в свързаните публикации за първоначалните методи, измервания и посочени ограничения.

  1. An Empirical Study on the Potential of LLMs in Automated Software Refactoring

    Изследва рефакторирания, предложени от LLM, и повторното им прилагане чрез доверен механизъм за рефакториране.

  2. SWE-Refactor: A Repository-Level Benchmark for Real-World LLM-Based Code Refactoring

    Компилация и тестове на равнище хранилище, както и оценяване, насочено към рефакторирането.

  3. Inspectable Control for Structure-Preserving Software Regeneration

    Свързани данни за ограничено генериране и изрично посочени ограничения.