ทิศทางที่กำลังดำเนินการ
การสร้างในปริภูมิแฝงแบบไม่ต่อเนื่อง
การแทนแบบไม่ต่อเนื่องสำหรับสร้างโค้ดเฉพาะส่วนขึ้นใหม่ ควบคู่กับการเลือกโดยอาศัยหลักฐานระหว่างการสร้างแบบมีข้อจำกัด การปรับโครงสร้างโค้ดด้วย AI และการแก้ไขโค้ดที่คาดการณ์ได้
สำรวจโครงการเริ่มจากความล้มเหลวที่สังเกตได้ แล้วจึงพิจารณาวิธีการ หลักฐาน และขอบเขตการใช้ที่สอดคล้องกัน
อาการเดียวกันอาจมีสาเหตุจากการแทนข้อมูล การสร้าง การควบคุม หรือการทวนสอบ
| ปัญหาที่สังเกตพบ | การวินิจฉัยขั้นแรก | หลักฐานที่ต้องกำหนดให้มี | วิธีการ |
|---|---|---|---|
| ผลลัพธ์ที่ถอดรหัสแล้วมีคุณภาพต่ำ แต่ยังไม่ทราบว่าขั้นใดล้มเหลว | ประเมินคะแนนข้อความต้นทาง ผลการสร้างคืนที่จับคู่กัน และผลลัพธ์ที่สร้างขึ้นด้วยตัวประเมินภายนอกตัวเดียวกัน | การแจกแจงและพฤติกรรมบริเวณหางที่เปรียบเทียบกันได้ในทุกขั้น | การวินิจฉัยคอขวดเป็นลำดับขั้น |
| เมตริกในปริภูมิแฝงดีขึ้น แต่คุณภาพสุดท้ายไม่ดีขึ้น | ทดสอบว่าการปรับปรุงตัวชี้วัดแทนยังคงส่งผลหลังการถอดรหัสหรือไม่ | ใช้ตัวชี้วัดผลลัพธ์ที่ถอดรหัสแล้วแบบจับคู่ ไม่ใช่อาศัยเพียงการวินิจฉัยปริภูมิแฝง | การตรวจสอบการถ่ายโอนของตัวชี้วัดแทน |
| ตัวแก้ไขโค้ดเขียนใหม่เกินกว่าบริเวณที่ร้องขอ | ระบุขอบเขตการคงรักษาอย่างชัดเจน และวัดความแตกต่างภายนอกบริเวณดังกล่าว | วัดความเฉพาะที่ควบคู่กับความสำเร็จของงาน | การประเมินการแก้ไขเฉพาะส่วน |
| การปรับโครงสร้างต้องคงพฤติกรรม มิใช่เพียงวากยสัมพันธ์ | แยกการเสนอแนวทางออกจากการดำเนินการและการทวนสอบ | การคอมไพล์ การทดสอบ การตรวจสอบแบบสถิต และการตรวจจับการปรับโครงสร้างโค้ด | แผนผังตัดสินใจเลือกกลไกควบคุม |
ทิศทางที่กำลังดำเนินการ
การแทนแบบไม่ต่อเนื่องสำหรับสร้างโค้ดเฉพาะส่วนขึ้นใหม่ ควบคู่กับการเลือกโดยอาศัยหลักฐานระหว่างการสร้างแบบมีข้อจำกัด การปรับโครงสร้างโค้ดด้วย AI และการแก้ไขโค้ดที่คาดการณ์ได้
สำรวจโครงการคู่มือการประเมิน
วิธีการเป็นรายขั้นสำหรับตัดสินว่าคุณภาพหลังถอดรหัสถูกจำกัดด้วยการสร้างคืน การสร้างในปริภูมิแฝง หรือตัวชี้วัดตัวแทนที่ไม่ถ่ายโอนไปยังข้อความสุดท้าย
เปิดคู่มือการวินิจฉัยบันทึกหลักฐานแบบเอกเทศสำหรับการค้นหาในวงกว้างที่ไม่ได้เริ่มจากชื่อบทความ โดยแต่ละรายการเชื่อมกลับไปยังสิ่งพิมพ์และเนื้อหาฉบับเต็มที่เกี่ยวข้อง
โพรโทคอลเปรียบเทียบแบบจำลองภาษาการแพร่ชนิดมาสก์ในปริภูมิรหัสกับปริภูมิโทเค็น โดยใช้เกณฑ์ที่สอดคล้องกันทุกขั้น เมื่อโคเดกแบบไม่ต่อเนื่องมีการสูญเสียข้อมูล
แนวทางป้องกันการเขียนฟังก์ชันทั้งชุดขึ้นใหม่โดยไม่จำเป็น พร้อมคงอิสระเพียงพอให้แบบจำลองเชิงกำเนิดดำเนินการแก้ไขโค้ดตามที่ร้องขอ
การจำแนกเชิงปฏิบัติระหว่างข้อจำกัดด้านไวยากรณ์ ข้อจำกัดด้านชนิด ขอบเขตการคงสภาพ และการตรวจรับระดับพฤติกรรมสำหรับโค้ดที่สร้างขึ้น
แนวทางประเมินวิธีปรับโครงสร้างโค้ดโดยอาศัย AI ที่พัฒนาขึ้นเมื่อไม่นานมานี้ โดยไม่สับสนระหว่างแพตช์ที่สร้างขึ้นอย่างสมเหตุสมผลกับการคงรักษาพฤติกรรมที่ผ่านการตรวจสอบแล้ว
เหตุใดการสุ่มตัวอย่างแบบกำหนดตายตัวจึงยังไม่เพียงพอ และคุณสมบัติที่กำหนดให้คงไว้ซึ่งสังเกตได้ ตลอดจนการตรวจรับผล ทำให้พฤติกรรมการสร้างโค้ดทดสอบได้อย่างไร
เปิดคำถามเชิงปฏิบัติเพื่ออ่านคำตอบโดยสังเขป แล้วไปยังลิงก์หลักฐานเพื่อดูวิธีการ การวัดผล และข้อจำกัด เนื้อหาเหล่านี้เป็นช่องทางเข้าสู่งานวิจัย มิใช่หลักประกันที่ใช้ได้ทั่วไป
กำหนดขอบเขตที่แก้ไขได้ก่อนการสร้าง รักษาหรือนำซอร์สโค้ดนอกขอบเขตนั้นกลับมาใช้ สร้างเฉพาะการเปลี่ยนแปลงที่เป็นคำตอบผู้สมัคร และปฏิเสธผลลัพธ์ที่ทำงานไม่สำเร็จหรือเปลี่ยนบริเวณที่ต้องปกป้อง การตรึงตัวแปรแฝงเชิงลำดับชั้นเป็นกลไกควบคุมเชิงทดลองรูปแบบหนึ่ง แต่ไม่รับประกันว่าช่วงซอร์สโค้ดจะเหมือนเดิมทุกประการ เปรียบเทียบกลไกควบคุมการแก้ไขเฉพาะบริเวณ.
วัดความแตกต่างภายนอกบริเวณที่ร้องขอ ควบคู่กับความสำเร็จของงาน การเปลี่ยนแปลงในบริเวณที่แก้ไขได้ คุณสมบัติคงตัวเชิงโครงสร้าง การทดสอบหรือการตรวจสอบแบบสถิต และความแปรผันระหว่างการรันซ้ำ อัตราการแจงเพียงอย่างเดียวยืนยันได้เฉพาะความถูกต้องตามวากยสัมพันธ์ ทบทวนรายการตรวจสอบหลักฐานด้านความเป็นเฉพาะที่.
รายงานเสถียรภาพของบริเวณคุ้มครองควบคู่กับเสรีภาพในบริเวณที่แก้ไขได้และความเป็นเอกลักษณ์ของผลลัพธ์ตัวเลือก การคัดลอกอินพุตอาจเพิ่มเสถียรภาพสูงสุดโดยไม่ทำให้งานคืบหน้า ขณะที่การเขียนใหม่โดยไร้ข้อจำกัดอาจเพิ่มการเปลี่ยนแปลงสูงสุดแต่ทำลายความเป็นเฉพาะที่ ดูหลักฐานที่มีขอบเขตเกี่ยวกับเสถียรภาพและเสรีภาพ.
การแก้ไขเฉพาะส่วนเน้นสิ่งที่ต้องคงเดิม การสร้างแบบมีข้อจำกัดบังคับใช้คุณสมบัติรูปนัยของผลลัพธ์ เช่น การเป็นสมาชิกของไวยากรณ์ ส่วนการซ่อมแซมโปรแกรมกำหนดให้การเปลี่ยนแปลงต้องสอดคล้องกับข้อบกพร่องหรือข้อกำหนดของงาน วากยสัมพันธ์เพียงอย่างเดียวมิได้พิสูจน์ความสมมูลเชิงความหมาย ความถูกต้องเชิงหน้าที่ ความสำเร็จของงาน หรือความเฉพาะที่ เปรียบเทียบวัตถุประสงค์ทั้งสาม.
กำหนดบริเวณที่ต้องปกป้องและบริเวณที่แก้ไขได้ก่อนการสร้าง ปรับเฉพาะตัวแทนของส่วนที่แก้ไขได้ แล้วถอดรหัสและปฏิเสธคำตอบผู้สมัครที่เปลี่ยนโค้ดซึ่งต้องปกป้อง หรือไม่ผ่านไวยากรณ์ การทดสอบ การตรวจสอบแบบสถิต หรือคุณสมบัติคงตัวเฉพาะงาน การทดลองตัวแปรแฝงเชิงลำดับชั้นที่รายงานวัดเสถียรภาพเชิงความน่าจะเป็นบนฟังก์ชันขนาด 64 โทเคน มิได้รับประกันว่าช่วงข้อความหรือพฤติกรรมจะไม่เปลี่ยนแปลง ตรวจสอบกระบวนงานการสร้างใหม่แบบเลือกเฉพาะส่วน.
ใช้แบบจำลองเพื่อระบุหรือเสนอการแปลง แล้วดำเนินการด้วยเอนจินปรับโครงสร้างโค้ดที่เชื่อถือได้เมื่อทำได้ พร้อมตรวจสอบการคอมไพล์ การทดสอบ การตรวจสอบแบบสถิต และการปรับโครงสร้างที่ตั้งใจ แพตช์ที่สร้างขึ้นและดูสมเหตุสมผลเพียงอย่างเดียวยังไม่ใช่หลักฐานที่เพียงพอ เปิดแถวการตัดสินใจเกี่ยวกับการปรับโครงสร้างโค้ด.
กำหนดพันธสัญญาการคงรักษาที่สังเกตได้และการตรวจสอบเพื่อการยอมรับก่อนเลือกตัวสร้าง ความสามารถในการคาดการณ์ขึ้นอยู่กับว่าสิ่งใดยังคงเสถียรหลังการถอดรหัสและการทวนสอบ ไม่ได้ขึ้นอยู่เพียงว่าพรอมต์ มาสก์ ไวยากรณ์ หรือโค้ดแฝงถูกตรึงไว้หรือไม่ กำหนดข้อตกลงการรักษา.
ภายใต้ตัวให้คะแนนภายนอกเดียวกัน MDLM ในปริภูมิโค้ดมีค่ามัธยฐาน perplexity เท่ากับ 26.55 เทียบกับ 38.42 ของเส้นฐานในปริภูมิโทเค็น ซึ่งลดลง 30.9% อย่างไรก็ตาม ค่ามัธยฐานของการสร้างคืนด้วยโคเดกอยู่ที่ 27.36 แล้ว จึงต้องตีความผลลัพธ์ควบคู่กับคอขวดในการสร้างคืน ตรวจสอบค่าตัวเลขที่รายงานแยกตามขั้น.
ใช้ตัวอย่างกันไว้และตัวให้คะแนนข้อความที่ถอดรหัสชุดเดียวกันสำหรับต้นฉบับ ผลการสร้างคืนด้วยโคเดก ผลลัพธ์ในปริภูมิโทเค็น และผลลัพธ์ในปริภูมิโค้ด ควรรายงานช่องว่างจากการสร้างคืนแยกต่างหาก เพราะตัวสร้างในปริภูมิแฝงที่ทรงพลังกว่าไม่อาจกู้ข้อมูลที่โคเดกตัดทิ้งไปแล้ว เปรียบเทียบแต่ละขั้นด้วยตัวประเมินเดียวกัน.
วัดช่องว่างจากต้นฉบับถึงผลการสร้างใหม่ก่อนช่องว่างจากผลการสร้างใหม่ถึงผลการสร้าง โดยใช้ตัวประเมินข้อความที่ถอดรหัสแล้วตัวเดียวกันและไม่เปลี่ยนแปลง วิธีนี้แยกเพดานคุณภาพที่ตัวแปลงสัญญาณกำหนดออกจากการเสื่อมคุณภาพเพิ่มเติมที่เกิดจากการสร้างในปริภูมิแฝง ดำเนินการวินิจฉัยตามจุดตรวจสอบสี่จุด.
ตัวชี้วัดตัวแทนในปริภูมิแฝงอาจดีขึ้นโดยไม่ได้ติดตามสมบัติปลายน้ำที่สนใจ ควรทดสอบการถ่ายโอนด้วยการถอดรหัสผลลัพธ์ที่จับคู่กันและประเมินด้วยเมตริกปลายทางเดียวกัน มิฉะนั้นเรขาคณิตหรือการใช้ประโยชน์จากสมุดรหัสยังคงเป็นเพียงหลักฐานเชิงวินิจฉัย มิใช่คุณภาพข้อความที่เพิ่มขึ้น ใช้การวินิจฉัยการถ่ายโอนตัวแทนวัด.
ตัวเลขเหล่านี้ระบุสิ่งที่มีการวัด มิใช่การรับประกันแบบจำลองในทุกกรณี
ในการตั้งค่า TinyStories แบบ 64 ต่อ 16 หนึ่งรูปแบบ ค่ามัธยฐานของเพอร์เพล็กซิตีเพิ่มจาก 15.17 สำหรับข้อความต้นทางเป็น 27.36 หลังการสร้างคืน โดย MDLM ในปริภูมิรหัสทำได้ถึง 26.55 เทียบกับ 38.42 สำหรับเส้นฐานในปริภูมิโทเคนภายใต้ตัวให้คะแนนภายนอกตัวเดียวกัน
อ่านหลักฐานประกอบบทความในการตั้งค่าหนึ่งของฟังก์ชัน Python ขนาด 64 โทเคน การตรึงโค้ดระดับบนสี่ตำแหน่งเพิ่มอัตราการแจงจาก 0.453 ไปยัง 0.591, ขณะที่ตำแหน่งที่ไม่ได้ล็อกเปลี่ยนแปลงในอัตรา 0.936 และตัวอย่างแบบมีเงื่อนไขยังคงมีค่า 0.998 ไม่ซ้ำกัน
อ่านหลักฐานประกอบบทความการทดลองที่เผยแพร่ไม่ได้ยืนยันการคงรักษา AST อย่างแม่นตรง ความสมมูลเชิงความหมาย ความถูกต้องเชิงหน้าที่ การซ่อมแซมระดับคลังโค้ด หรือลำดับคอขวดของโคเดกและตัวสร้างที่เป็นสากล คู่มือเหล่านี้แปลงหลักฐานที่มีขอบเขตเป็นกระบวนการวินิจฉัยที่นำกลับมาใช้ได้ แต่ระบบใหม่ทุกระบบยังต้องตรวจสอบความถูกต้องของผลลัพธ์ที่ถอดรหัสแล้วและพฤติกรรมในแบบของตนเอง