AG — Alexey Gavrilov home

ИЗСЛЕДОВАТЕЛСКА БЕЛЕЖКА

Предвидимото генериране на код изисква договор за запазване

Защо детерминираното извадково генериране не е достатъчно и как наблюдаемите защитени свойства и критериите за приемане позволяват поведението на генератора на код да бъде проверявано.

Публикувано

Споделете тази изследователска бележкаСподеляне

ПРЯК ОТГОВОР

Какво прави генерирането на код предвидимо, а не просто управляемо?

Предвидимостта изисква наблюдаем договор, формулиран преди генерирането: какво може да се променя, какво трябва да остане стабилно, как ще се измерва всяко свойство и кога даден резултат ще бъде отхвърлен. Фиксираната подкана, начална стойност, маска, граматика или латентен код е само механизъм.

Защо разграничението е важно

Методът и заявената гаранция трябва да имат една и съща наблюдаема граница.

Детерминистичното генериране възпроизвежда един и същ резултат при фиксирани условия. Предвидимото генериране позволява декларирано свойство да бъде проверено: например API сигнатурата остава непроменена, редакциите се ограничават в дадена област, синтаксисът остава валиден или наборът от тестове продължава да преминава успешно.

Разграничението е съществено, защото управляващият вход не определя своя ефект. Фиксирането на латентна позиция или начална стойност, както и ограничаването на граматиката, може да улесни проверката на генерирането, но защитеното свойство все пак трябва да бъде измерено след декодирането.

Практическа процедура

  1. Декларирайте защитените свойства

    Посочете областите от изходния код, структурите, интерфейсите, поведенията или разпределенията, които трябва да останат в рамките на определен допуск.

  2. Изберете подходящ механизъм за контрол

    Според защитаваното свойство използвайте повторно изходния код, маски за редактиране, формални ограничения, заключване на латентни позиции или подход с предложение и последваща валидация.

  3. Определете критериите за приемане преди извадковото генериране

    Определете синтактичния анализ, компилацията, тестовете, структурните проверки, праговете за локалност и критериите за успешно изпълнение на задачата, преди да преглеждате резултатите.

  4. Измерете поведението при повторни изпълнения

    Отчитайте приемането, отхвърлянето, устойчивостта, разнообразието и неопределеността при многократни изпълнения, вместо да се основавате на един илюстративен резултат.

Изисквани доказателства

Едно твърдение е убедително само доколкото е надеждно измерено съответното свойство след генерирането или декодирането.

  • Защитените и подлежащите на редактиране свойства се формулират поотделно.
  • Всяка заявена гаранция има наблюдаем тест или метрика.
  • Успешното изпълнение на задачата се оценява наред със стабилността.
  • Видими са изменчивостта при многократни изпълнения и дяловете на отхвърляне.
  • Неизмерените свойства са изрично изключени от твърдението.

Какво отчита свързаното изследване

  • Свързаният експеримент предоставя йерархичните дискретни позиции като един подлежащ на проверка интерфейс за контрол на кратки Python функции.
  • Фиксирането на четири позиции от най-горно ниво подобри дела на успешно синтактично анализираните примери, като запази висок дял на промени в нефиксираните позиции и висока уникалност на извадките.
  • Статията представя резултата като предварително вероятностно доказателство; тя не заявява точно запазване на AST, семантична еквивалентност, функционална коректност или предсказуемост в мащаба на хранилище.

Прочетете обзора на публикацията Търсене в пълния текст на статията

Граница на обхвата

  • Предвидимостта е специфична за отделното свойство: една система може да е предвидима по отношение на синтаксиса и непредвидима по отношение на поведението.
  • Детерминистичното декодиране може да повтаря една и съща погрешна или прекомерно широка редакция.
  • Представеният в сайта експеримент не установява гаранции извън измерената постановка с кратки функции.
Определете договора за запазване

Основни и сродни източници

Направете справка в свързаните публикации за първоначалните методи, измервания и посочени ограничения.

  1. Inspectable Control for Structure-Preserving Software Regeneration

    Основен експеримент с ясно определен обхват и изрично посочени граници на доказателствата.

  2. EfficientEdit: Accelerating Code Editing via Edit-Oriented Speculative Decoding

    Механизъм, ориентиран към редактиране, който използва повторно непроменените фрагменти от изходния текст.

  3. Constrained Decoding of Diffusion LLMs with Context-Free Grammars

    Пример за механизъм с изрично формално ограничение.