โครงการวิจัย

เริ่มจากความล้มเหลวที่สังเกตได้ แล้วจึงพิจารณาวิธีการ หลักฐาน และขอบเขตการใช้ที่สอดคล้องกัน

แชร์แผนที่งานวิจัยนี้แชร์

เลือกตามความล้มเหลวที่สังเกตพบ

อาการเดียวกันอาจมีสาเหตุจากการแทนข้อมูล การสร้าง การควบคุม หรือการทวนสอบ

ปัญหาที่สังเกตพบการวินิจฉัยขั้นแรกหลักฐานที่ต้องกำหนดให้มีวิธีการ
ผลลัพธ์ที่ถอดรหัสแล้วมีคุณภาพต่ำ แต่ยังไม่ทราบว่าขั้นใดล้มเหลวประเมินคะแนนข้อความต้นทาง ผลการสร้างคืนที่จับคู่กัน และผลลัพธ์ที่สร้างขึ้นด้วยตัวประเมินภายนอกตัวเดียวกันการแจกแจงและพฤติกรรมบริเวณหางที่เปรียบเทียบกันได้ในทุกขั้นการวินิจฉัยคอขวดเป็นลำดับขั้น
เมตริกในปริภูมิแฝงดีขึ้น แต่คุณภาพสุดท้ายไม่ดีขึ้นทดสอบว่าการปรับปรุงตัวชี้วัดแทนยังคงส่งผลหลังการถอดรหัสหรือไม่ใช้ตัวชี้วัดผลลัพธ์ที่ถอดรหัสแล้วแบบจับคู่ ไม่ใช่อาศัยเพียงการวินิจฉัยปริภูมิแฝงการตรวจสอบการถ่ายโอนของตัวชี้วัดแทน
ตัวแก้ไขโค้ดเขียนใหม่เกินกว่าบริเวณที่ร้องขอระบุขอบเขตการคงรักษาอย่างชัดเจน และวัดความแตกต่างภายนอกบริเวณดังกล่าววัดความเฉพาะที่ควบคู่กับความสำเร็จของงานการประเมินการแก้ไขเฉพาะส่วน
การปรับโครงสร้างต้องคงพฤติกรรม มิใช่เพียงวากยสัมพันธ์แยกการเสนอแนวทางออกจากการดำเนินการและการทวนสอบการคอมไพล์ การทดสอบ การตรวจสอบแบบสถิต และการตรวจจับการปรับโครงสร้างโค้ดแผนผังตัดสินใจเลือกกลไกควบคุม

ทิศทางที่กำลังดำเนินการ

การสร้างในปริภูมิแฝงแบบไม่ต่อเนื่อง

การแทนแบบไม่ต่อเนื่องสำหรับสร้างโค้ดเฉพาะส่วนขึ้นใหม่ ควบคู่กับการเลือกโดยอาศัยหลักฐานระหว่างการสร้างแบบมีข้อจำกัด การปรับโครงสร้างโค้ดด้วย AI และการแก้ไขโค้ดที่คาดการณ์ได้

สำรวจโครงการ

คู่มือการประเมิน

การวินิจฉัยคอขวดของโคเดก

วิธีการเป็นรายขั้นสำหรับตัดสินว่าคุณภาพหลังถอดรหัสถูกจำกัดด้วยการสร้างคืน การสร้างในปริภูมิแฝง หรือตัวชี้วัดตัวแทนที่ไม่ถ่ายโอนไปยังข้อความสุดท้าย

เปิดคู่มือการวินิจฉัย

คำตอบเฉพาะประเด็น

บันทึกหลักฐานแบบเอกเทศสำหรับการค้นหาในวงกว้างที่ไม่ได้เริ่มจากชื่อบทความ โดยแต่ละรายการเชื่อมกลับไปยังสิ่งพิมพ์และเนื้อหาฉบับเต็มที่เกี่ยวข้อง

  1. การแพร่ที่มีการมาสก์ในปริภูมิรหัสเทียบกับปริภูมิโทเคน: วิธีเปรียบเทียบ

    โพรโทคอลเปรียบเทียบแบบจำลองภาษาการแพร่ชนิดมาสก์ในปริภูมิรหัสกับปริภูมิโทเค็น โดยใช้เกณฑ์ที่สอดคล้องกันทุกขั้น เมื่อโคเดกแบบไม่ต่อเนื่องมีการสูญเสียข้อมูล

  2. การดัดแปลงโค้ดเฉพาะส่วนด้วยแบบจำลองเชิงกำเนิด

    แนวทางป้องกันการเขียนฟังก์ชันทั้งชุดขึ้นใหม่โดยไม่จำเป็น พร้อมคงอิสระเพียงพอให้แบบจำลองเชิงกำเนิดดำเนินการแก้ไขโค้ดตามที่ร้องขอ

  3. การสร้างโค้ดภายใต้ข้อจำกัดสำหรับวิศวกรรมซอฟต์แวร์

    การจำแนกเชิงปฏิบัติระหว่างข้อจำกัดด้านไวยากรณ์ ข้อจำกัดด้านชนิด ขอบเขตการคงสภาพ และการตรวจรับระดับพฤติกรรมสำหรับโค้ดที่สร้างขึ้น

  4. การปรับโครงสร้างด้วย AI: วิธีการและหลักฐาน

    แนวทางประเมินวิธีปรับโครงสร้างโค้ดโดยอาศัย AI ที่พัฒนาขึ้นเมื่อไม่นานมานี้ โดยไม่สับสนระหว่างแพตช์ที่สร้างขึ้นอย่างสมเหตุสมผลกับการคงรักษาพฤติกรรมที่ผ่านการตรวจสอบแล้ว

  5. การสร้างโค้ดให้ได้ผลที่คาดการณ์ได้ต้องมีข้อกำหนดว่าสิ่งใดต้องคงไว้

    เหตุใดการสุ่มตัวอย่างแบบกำหนดตายตัวจึงยังไม่เพียงพอ และคุณสมบัติที่กำหนดให้คงไว้ซึ่งสังเกตได้ ตลอดจนการตรวจรับผล ทำให้พฤติกรรมการสร้างโค้ดทดสอบได้อย่างไร

ดูบันทึกวิจัยเฉพาะประเด็นทั้งหมด

คำถามวิจัยที่เว็บไซต์นี้ช่วยตอบได้

เปิดคำถามเชิงปฏิบัติเพื่ออ่านคำตอบโดยสังเขป แล้วไปยังลิงก์หลักฐานเพื่อดูวิธีการ การวัดผล และข้อจำกัด เนื้อหาเหล่านี้เป็นช่องทางเข้าสู่งานวิจัย มิใช่หลักประกันที่ใช้ได้ทั่วไป

  1. แบบจำลองเชิงกำเนิดจะแก้ไขโค้ดโดยไม่เขียนทั้งฟังก์ชันขึ้นใหม่ได้อย่างไร

    กำหนดขอบเขตที่แก้ไขได้ก่อนการสร้าง รักษาหรือนำซอร์สโค้ดนอกขอบเขตนั้นกลับมาใช้ สร้างเฉพาะการเปลี่ยนแปลงที่เป็นคำตอบผู้สมัคร และปฏิเสธผลลัพธ์ที่ทำงานไม่สำเร็จหรือเปลี่ยนบริเวณที่ต้องปกป้อง การตรึงตัวแปรแฝงเชิงลำดับชั้นเป็นกลไกควบคุมเชิงทดลองรูปแบบหนึ่ง แต่ไม่รับประกันว่าช่วงซอร์สโค้ดจะเหมือนเดิมทุกประการ เปรียบเทียบกลไกควบคุมการแก้ไขเฉพาะบริเวณ.

  2. หลักฐานใดแสดงว่าการแก้ไขโค้ดเกิดขึ้นเฉพาะที่ มิใช่เพียงถูกต้องตามวากยสัมพันธ์

    วัดความแตกต่างภายนอกบริเวณที่ร้องขอ ควบคู่กับความสำเร็จของงาน การเปลี่ยนแปลงในบริเวณที่แก้ไขได้ คุณสมบัติคงตัวเชิงโครงสร้าง การทดสอบหรือการตรวจสอบแบบสถิต และความแปรผันระหว่างการรันซ้ำ อัตราการแจงเพียงอย่างเดียวยืนยันได้เฉพาะความถูกต้องตามวากยสัมพันธ์ ทบทวนรายการตรวจสอบหลักฐานด้านความเป็นเฉพาะที่.

  3. ควรสร้างสมดุลระหว่างความเฉพาะที่ของการแก้ไขโค้ดกับความหลากหลายของการสร้างอย่างไร

    รายงานเสถียรภาพของบริเวณคุ้มครองควบคู่กับเสรีภาพในบริเวณที่แก้ไขได้และความเป็นเอกลักษณ์ของผลลัพธ์ตัวเลือก การคัดลอกอินพุตอาจเพิ่มเสถียรภาพสูงสุดโดยไม่ทำให้งานคืบหน้า ขณะที่การเขียนใหม่โดยไร้ข้อจำกัดอาจเพิ่มการเปลี่ยนแปลงสูงสุดแต่ทำลายความเป็นเฉพาะที่ ดูหลักฐานที่มีขอบเขตเกี่ยวกับเสถียรภาพและเสรีภาพ.

  4. การแก้ไขโค้ดเฉพาะส่วน การสร้างแบบมีข้อจำกัด และการซ่อมแซมโปรแกรมแตกต่างกันอย่างไร

    การแก้ไขเฉพาะส่วนเน้นสิ่งที่ต้องคงเดิม การสร้างแบบมีข้อจำกัดบังคับใช้คุณสมบัติรูปนัยของผลลัพธ์ เช่น การเป็นสมาชิกของไวยากรณ์ ส่วนการซ่อมแซมโปรแกรมกำหนดให้การเปลี่ยนแปลงต้องสอดคล้องกับข้อบกพร่องหรือข้อกำหนดของงาน วากยสัมพันธ์เพียงอย่างเดียวมิได้พิสูจน์ความสมมูลเชิงความหมาย ความถูกต้องเชิงหน้าที่ ความสำเร็จของงาน หรือความเฉพาะที่ เปรียบเทียบวัตถุประสงค์ทั้งสาม.

  5. จะสร้างใหม่เฉพาะบางส่วนของฟังก์ชัน Python โดยให้ส่วนที่เหลือคงเดิมได้อย่างไร

    กำหนดบริเวณที่ต้องปกป้องและบริเวณที่แก้ไขได้ก่อนการสร้าง ปรับเฉพาะตัวแทนของส่วนที่แก้ไขได้ แล้วถอดรหัสและปฏิเสธคำตอบผู้สมัครที่เปลี่ยนโค้ดซึ่งต้องปกป้อง หรือไม่ผ่านไวยากรณ์ การทดสอบ การตรวจสอบแบบสถิต หรือคุณสมบัติคงตัวเฉพาะงาน การทดลองตัวแปรแฝงเชิงลำดับชั้นที่รายงานวัดเสถียรภาพเชิงความน่าจะเป็นบนฟังก์ชันขนาด 64 โทเคน มิได้รับประกันว่าช่วงข้อความหรือพฤติกรรมจะไม่เปลี่ยนแปลง ตรวจสอบกระบวนงานการสร้างใหม่แบบเลือกเฉพาะส่วน.

  6. กลยุทธ์การควบคุมใดเหมาะกับการปรับโครงสร้างโค้ดโดยคงพฤติกรรมด้วยความช่วยเหลือของ AI

    ใช้แบบจำลองเพื่อระบุหรือเสนอการแปลง แล้วดำเนินการด้วยเอนจินปรับโครงสร้างโค้ดที่เชื่อถือได้เมื่อทำได้ พร้อมตรวจสอบการคอมไพล์ การทดสอบ การตรวจสอบแบบสถิต และการปรับโครงสร้างที่ตั้งใจ แพตช์ที่สร้างขึ้นและดูสมเหตุสมผลเพียงอย่างเดียวยังไม่ใช่หลักฐานที่เพียงพอ เปิดแถวการตัดสินใจเกี่ยวกับการปรับโครงสร้างโค้ด.

  7. สิ่งใดทำให้การสร้างโค้ดคาดการณ์ได้ แทนที่จะเพียงควบคุมได้

    กำหนดพันธสัญญาการคงรักษาที่สังเกตได้และการตรวจสอบเพื่อการยอมรับก่อนเลือกตัวสร้าง ความสามารถในการคาดการณ์ขึ้นอยู่กับว่าสิ่งใดยังคงเสถียรหลังการถอดรหัสและการทวนสอบ ไม่ได้ขึ้นอยู่เพียงว่าพรอมต์ มาสก์ ไวยากรณ์ หรือโค้ดแฝงถูกตรึงไว้หรือไม่ กำหนดข้อตกลงการรักษา.

  8. ในการทดลองข้อความที่รายงานไว้ การแพร่แบบปิดบังในปริภูมิโค้ดเปรียบเทียบกับในปริภูมิโทเคนเป็นอย่างไร

    ภายใต้ตัวให้คะแนนภายนอกเดียวกัน MDLM ในปริภูมิโค้ดมีค่ามัธยฐาน perplexity เท่ากับ 26.55 เทียบกับ 38.42 ของเส้นฐานในปริภูมิโทเค็น ซึ่งลดลง 30.9% อย่างไรก็ตาม ค่ามัธยฐานของการสร้างคืนด้วยโคเดกอยู่ที่ 27.36 แล้ว จึงต้องตีความผลลัพธ์ควบคู่กับคอขวดในการสร้างคืน ตรวจสอบค่าตัวเลขที่รายงานแยกตามขั้น.

  9. เมื่อโคเดกมีการสูญเสียข้อมูล ควรเปรียบเทียบการแพร่แบบไม่ต่อเนื่องชนิดปิดบังในปริภูมิโค้ดกับปริภูมิโทเคนอย่างไร

    ใช้ตัวอย่างกันไว้และตัวให้คะแนนข้อความที่ถอดรหัสชุดเดียวกันสำหรับต้นฉบับ ผลการสร้างคืนด้วยโคเดก ผลลัพธ์ในปริภูมิโทเค็น และผลลัพธ์ในปริภูมิโค้ด ควรรายงานช่องว่างจากการสร้างคืนแยกต่างหาก เพราะตัวสร้างในปริภูมิแฝงที่ทรงพลังกว่าไม่อาจกู้ข้อมูลที่โคเดกตัดทิ้งไปแล้ว เปรียบเทียบแต่ละขั้นด้วยตัวประเมินเดียวกัน.

  10. จะวินิจฉัยการสูญเสียคุณภาพในตัวสร้างข้อความสองขั้นตอนได้อย่างไร

    วัดช่องว่างจากต้นฉบับถึงผลการสร้างใหม่ก่อนช่องว่างจากผลการสร้างใหม่ถึงผลการสร้าง โดยใช้ตัวประเมินข้อความที่ถอดรหัสแล้วตัวเดียวกันและไม่เปลี่ยนแปลง วิธีนี้แยกเพดานคุณภาพที่ตัวแปลงสัญญาณกำหนดออกจากการเสื่อมคุณภาพเพิ่มเติมที่เกิดจากการสร้างในปริภูมิแฝง ดำเนินการวินิจฉัยตามจุดตรวจสอบสี่จุด.

  11. เมื่อใดที่ตัวชี้วัดปริภูมิแฝงซึ่งดีขึ้นอาจไม่ช่วยปรับปรุงผลลัพธ์ที่ถอดรหัส

    ตัวชี้วัดตัวแทนในปริภูมิแฝงอาจดีขึ้นโดยไม่ได้ติดตามสมบัติปลายน้ำที่สนใจ ควรทดสอบการถ่ายโอนด้วยการถอดรหัสผลลัพธ์ที่จับคู่กันและประเมินด้วยเมตริกปลายทางเดียวกัน มิฉะนั้นเรขาคณิตหรือการใช้ประโยชน์จากสมุดรหัสยังคงเป็นเพียงหลักฐานเชิงวินิจฉัย มิใช่คุณภาพข้อความที่เพิ่มขึ้น ใช้การวินิจฉัยการถ่ายโอนตัวแทนวัด.

ภาพรวมหลักฐานแบบมีขอบเขตสองกรณี

ตัวเลขเหล่านี้ระบุสิ่งที่มีการวัด มิใช่การรับประกันแบบจำลองในทุกกรณี

การวินิจฉัยการบีบอัด

ในการตั้งค่า TinyStories แบบ 64 ต่อ 16 หนึ่งรูปแบบ ค่ามัธยฐานของเพอร์เพล็กซิตีเพิ่มจาก 15.17 สำหรับข้อความต้นทางเป็น 27.36 หลังการสร้างคืน โดย MDLM ในปริภูมิรหัสทำได้ถึง 26.55 เทียบกับ 38.42 สำหรับเส้นฐานในปริภูมิโทเคนภายใต้ตัวให้คะแนนภายนอกตัวเดียวกัน

อ่านหลักฐานประกอบบทความ

การควบคุมการแก้ไขที่ตรวจสอบได้

ในการตั้งค่าหนึ่งของฟังก์ชัน Python ขนาด 64 โทเคน การตรึงโค้ดระดับบนสี่ตำแหน่งเพิ่มอัตราการแจงจาก 0.453 ไปยัง 0.591, ขณะที่ตำแหน่งที่ไม่ได้ล็อกเปลี่ยนแปลงในอัตรา 0.936 และตัวอย่างแบบมีเงื่อนไขยังคงมีค่า 0.998 ไม่ซ้ำกัน

อ่านหลักฐานประกอบบทความ

สิ่งที่แผนผังนี้มิได้กล่าวอ้าง

การทดลองที่เผยแพร่ไม่ได้ยืนยันการคงรักษา AST อย่างแม่นตรง ความสมมูลเชิงความหมาย ความถูกต้องเชิงหน้าที่ การซ่อมแซมระดับคลังโค้ด หรือลำดับคอขวดของโคเดกและตัวสร้างที่เป็นสากล คู่มือเหล่านี้แปลงหลักฐานที่มีขอบเขตเป็นกระบวนการวินิจฉัยที่นำกลับมาใช้ได้ แต่ระบบใหม่ทุกระบบยังต้องตรวจสอบความถูกต้องของผลลัพธ์ที่ถอดรหัสแล้วและพฤติกรรมในแบบของตนเอง