Projek penyelidikan

Mulakan dengan kegagalan yang dapat diperhatikan, kemudian ikuti kaedah, bukti dan sempadan skop yang bersesuaian.

Kongsi peta penyelidikan iniKongsi

Buat pilihan berdasarkan kegagalan yang diperhatikan

Gejala yang sama boleh berpunca daripada perwakilan, penjanaan, kawalan atau pengesahan.

Masalah yang diperhatikanDiagnosis pertamaBukti yang diperlukanKaedah
Keluaran ternyahkod bermutu rendah, tetapi peringkat yang gagal tidak diketahuiBerikan skor kepada sumber, pembinaan semula berpasangan dan output yang dijana menggunakan penilai luaran yang sama.Taburan dan tingkah laku ekor yang boleh dibandingkan pada setiap peringkat.Diagnosis cerutan berperingkat
Metrik ruang pendam bertambah baik, tetapi kualiti akhir tidakUji sama ada peningkatan proksi turut berlaku selepas penyahkodan.Metrik output ternyahkod yang berpasangan, bukan diagnostik pendam semata-mata.Semakan pemindahan proksi
Penyunting kod menulis semula kawasan yang melangkaui rantau dimintaNyatakan sempadan pengekalan yang jelas dan ukur perbezaan di luar kawasan tersebut.Kesetempatan dan kejayaan tugasan diukur bersama-sama.Penilaian suntingan setempat
Pemfaktoran semula mesti mengekalkan tingkah laku, bukan sekadar sintaksAsingkan cadangan daripada pelaksanaan dan pengesahan.Pengkompilan, ujian, semakan statik, dan pengesanan pemfaktoran semula.Peta keputusan antara muka kawalan

Arah aktif

Penjanaan pendam diskret

Perwakilan diskret untuk penjanaan semula kod secara terpilih, berserta pilihan berpandukan bukti antara penjanaan terkekang, pemfaktoran semula berbantu AI dan penyuntingan kod yang boleh diramal.

Terokai projek

Panduan penilaian

Diagnosis cerutan kodek

Kaedah mengikut peringkat untuk menentukan sama ada kualiti ternyahkod dibatasi oleh pembinaan semula, penjanaan pendam atau proksi yang tidak berpindah kepada teks akhir.

Buka panduan diagnostik

Jawapan terfokus

Catatan bukti kendiri untuk carian lebih luas yang tidak bermula dengan tajuk makalah. Setiap catatan mengarahkan pembaca kembali kepada penerbitan dan teks penuh yang berkaitan.

  1. Resapan bertopeng ruang kod berbanding ruang token: cara membandingkannya

    Protokol perbandingan yang tekal antara peringkat bagi model bahasa resapan diskret bertopeng dalam ruang kod dan ruang token apabila kodek diskret bersifat lesap.

  2. Pengubahsuaian kod setempat menggunakan model generatif

    Cara mengelakkan penulisan semula keseluruhan fungsi yang tidak perlu sambil mengekalkan kebebasan yang mencukupi untuk model generatif melaksanakan perubahan kod yang diminta.

  3. Penjanaan kod berkekangan untuk kejuruteraan perisian

    Pembezaan praktikal antara kekangan tatabahasa, kekangan jenis, sempadan pengekalan dan semakan penerimaan pada aras tingkah laku bagi kod terjana.

  4. Pemfaktoran semula berbantu AI: kaedah dan bukti

    Cara menilai kaedah pemfaktoran semula berbantu AI terkini tanpa menyamakan tampalan terjana yang kelihatan munasabah dengan pengekalan tingkah laku yang telah disahkan.

  5. Penjanaan kod yang boleh diramal memerlukan kontrak pengekalan

    Mengapa pensampelan berketentuan tidak mencukupi, serta bagaimana sifat terlindung yang boleh diperhatikan dan semakan penerimaan menjadikan tingkah laku penjanaan kod boleh diuji.

Layari semua catatan penyelidikan terfokus

Soalan penyelidikan yang dapat dijawab oleh laman ini

Buka soalan praktikal untuk mendapatkan jawapan ringkas, kemudian ikuti pautan bukti bagi kaedah, pengukuran dan batasan. Ini merupakan laluan untuk memahami penyelidikan, bukannya jaminan sejagat.

  1. Bagaimanakah model generatif dapat mengubah suai kod tanpa menulis semula keseluruhan fungsi?

    Takrifkan sempadan boleh sunting sebelum penjanaan, kekalkan atau guna semula sumber di luarnya, jana perubahan calon sahaja, dan tolak keluaran yang gagal melaksanakan tugas atau mengubah kawasan dilindungi. Penguncian pendam berhierarki ialah satu antara muka kawalan eksperimen, tetapi tidak menjamin rentang sumber yang seiras. Bandingkan antara muka kawalan penyuntingan setempat.

  2. Apakah bukti yang menunjukkan bahawa suntingan kod bersifat setempat dan bukan sekadar sah dari segi sintaks?

    Ukur perbezaan di luar rantau yang diminta bersama-sama kejayaan tugas, perubahan dalam rantau boleh sunting, invarian struktur, ujian atau semakan statik, serta kebolehubahan merentas pelaksanaan berulang. Kadar penghuraian sahaja hanya membuktikan bahawa sintaks terbentuk dengan baik. Semak senarai semak bukti kesetempatan.

  3. Bagaimanakah kesetempatan suntingan kod harus diimbangi dengan kepelbagaian penjanaan?

    Laporkan kestabilan kawasan terlindung bersama-sama kebebasan dalam kawasan yang boleh disunting dan keunikan calon. Penyalinan input boleh memaksimumkan kestabilan tanpa menghasilkan kemajuan tugas; penulisan semula tanpa sekatan pula boleh memaksimumkan perubahan sambil memusnahkan kelokalan. Lihat bukti kestabilan–kebebasan yang terbatas.

  4. Apakah perbezaan antara penyuntingan kod setempat, penjanaan berkekangan dengan pembaikan atur cara?

    Penyuntingan setempat menekankan perkara yang mesti kekal tidak berubah, penjanaan berkekangan menguatkuasakan sifat output formal seperti keanggotaan tatabahasa, manakala pembaikan atur cara menghendaki perubahan memenuhi spesifikasi kecacatan atau tugasan. Sintaks semata-mata tidak membuktikan kesetaraan semantik, ketepatan fungsian, kejayaan tugasan atau kesetempatan. Bandingkan ketiga-tiga objektif.

  5. Bagaimanakah bahagian terpilih dalam fungsi Python dapat dijana semula sementara bahagian lain kekal stabil?

    Takrifkan kawasan dilindungi dan kawasan boleh sunting sebelum penjanaan, ubah hanya perwakilan boleh sunting, nyahkod, dan tolak calon yang mengubah kod dilindungi atau gagal memenuhi sintaks, ujian, semakan statik, atau invarian khusus tugas. Eksperimen pendam berhierarki yang dilaporkan mengukur kestabilan kebarangkalian pada fungsi 64 token; eksperimen tersebut tidak menjamin rentang atau tingkah laku kekal tanpa perubahan. Periksa aliran kerja penjanaan semula terpilih.

  6. Strategi kawalan manakah yang sesuai untuk pemfaktoran semula berbantukan AI yang mengekalkan tingkah laku?

    Gunakan model untuk mengenal pasti atau mencadangkan transformasi, kemudian laksanakannya dengan enjin pemfaktoran semula yang dipercayai jika boleh, serta sahkan pengkompilan, ujian, semakan statik, dan pemfaktoran semula yang dimaksudkan. Tampalan terjana yang kelihatan munasabah bukan bukti yang mencukupi. Buka baris keputusan pemfaktoran semula.

  7. Apakah yang menjadikan penjanaan kod boleh diramal, bukan sekadar boleh dikawal?

    Nyatakan kontrak pengekalan yang boleh diperhatikan serta semakan penerimaan sebelum memilih penjana. Kebolehramalan bergantung pada perkara yang kekal stabil selepas penyahkodan dan pengesahan, bukan sekadar pada penetapan gesaan, topeng, tatabahasa atau kod pendam. Takrifkan kontrak pengekalan.

  8. Bagaimanakah resapan bertopeng dalam ruang kod berbanding dengan ruang token dalam eksperimen teks yang dilaporkan?

    Menurut penilai luaran yang sama, MDLM ruang kod mencatatkan median perpleksiti 26.55 berbanding 38.42 bagi garis dasar ruang token, iaitu pengurangan 30.9%. Median pembinaan semula kodek sudah pun 27.36, maka hasil tersebut mesti ditafsirkan bersama-sama dengan cerutan pembinaan semula. Periksa angka mengikut peringkat yang dilaporkan.

  9. Bagaimanakah resapan bertopeng dalam ruang kod dan ruang token harus dibandingkan apabila kodek bersifat lesap?

    Gunakan sampel pegangan dan penilai teks ternyahkod yang sama bagi teks asal, pembinaan semula kodek, output ruang token, dan output ruang kod. Laporkan jurang pembinaan semula secara berasingan kerana penjana pendam yang lebih kukuh tidak dapat memulihkan maklumat yang telah disingkirkan oleh kodek. Bandingkan semua peringkat menggunakan satu penilai.

  10. Bagaimanakah kemerosotan kualiti dapat didiagnosis dalam penjana teks dua peringkat?

    Ukur jurang antara teks asal dengan pembinaan semula sebelum jurang antara pembinaan semula dengan penjanaan, menggunakan satu penilai teks ternyahkod yang tidak berubah. Langkah ini memisahkan had atas kualiti yang dikenakan oleh kodek daripada kemerosotan tambahan yang diperkenalkan oleh penjanaan pendam. Ikuti diagnosis empat pusat pemeriksaan.

  11. Bilakah metrik ruang pendam yang lebih baik gagal meningkatkan output ternyahkod?

    Proksi pendam boleh bertambah baik tanpa menjejaki sifat hiliran yang menjadi tumpuan. Uji pemindahan dengan menyahkod output terpadan dan menilainya menggunakan metrik akhir yang sama; jika tidak, geometri atau penggunaan buku kod kekal sebagai bukti diagnostik, bukannya peningkatan kualiti teks. Gunakan diagnostik pemindahan proksi.

Dua gambaran bukti terbatas

Angka ini mengenal pasti perkara yang diukur; angka ini bukan jaminan model yang bersifat sejagat.

Diagnosis pemampatan

Dalam satu tetapan TinyStories 64-ke-16, median keperpleksan meningkat daripada 15.17 bagi teks sumber kepada 27.36 selepas pembinaan semula. MDLM ruang kod mencapai 26.55 berbanding 38.42 bagi garis dasar ruang token di bawah penilai luaran yang sama.

Baca bukti makalah

Kawalan suntingan yang boleh diperiksa

Dalam satu tetapan fungsi Python 64 token, penguncian empat kod peringkat teratas meningkatkan kadar penghuraian daripada 0.453 kepada 0.591, manakala kedudukan yang tidak dikunci berubah pada kadar 0.936 dan sampel bersyarat kekal 0.998 unik.

Baca bukti makalah

Perkara yang tidak didakwa oleh peta ini

Eksperimen yang diterbitkan tidak membuktikan pemeliharaan AST yang tepat, kesetaraan semantik, ketepatan fungsi, pembaikan pada skala repositori atau susunan universal kesesakan kodek dan penjana. Panduan ini menukarkan bukti terbatas kepada prosedur diagnostik yang boleh digunakan semula; setiap sistem baharu masih memerlukan pengesahan tersendiri terhadap output ternyahkod dan pada aras tingkah laku.