AG — Alexey Gavrilov home

Where Quality Breaks in Compressed Short-Text Generation: Staged Bottleneck Localization

Πού υποβαθμίζεται η ποιότητα στην παραγωγή συμπιεσμένου σύντομου κειμένου: εντοπισμός του σημείου συμφόρησης κατά στάδια

Μια κατά στάδια διάγνωση της παραγωγής συμπιεσμένου σύντομου κειμένου, η οποία διαχωρίζει την απώλεια ανακατασκευής του κωδικοποιητή από την απώλεια παραγωγής στον λανθάνοντα χώρο.

Alexey Gavrilov1Alan-Barsag Gazzaev1Sergey Muravyov1

  1. ITMO University, Αγία Πετρούπολη, Ρωσία

Διαβάστε ολόκληρη την εργασία σε HTMLΑναζητήσιμο κείμενο με τύπους, πίνακες, σχήματα και βιβλιογραφικές αναφορές.

Τελικό αποδεκτό χειρόγραφο (έκδοση αναρτημένη από τον συγγραφέα με DOI). © 2026 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting or republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works. Όροι ανάρτησης και επαναχρησιμοποίησης.

Η εργασία σε 30 δευτερόλεπτα

Ερευνητικό ερώτημαΠώς μπορεί η υποβάθμιση της ποιότητας σε μια διοχέτευση συμπιεσμένης παραγωγής κειμένου να αποδοθεί χωριστά στον κωδικοποιητή και στη γεννήτρια λανθάνοντος χώρου;

Πρόβλημα

Στη συμπιεσμένη παραγωγή σύντομου κειμένου, η χαμηλή ποιότητα του αποκωδικοποιημένου κειμένου μπορεί να οφείλεται είτε σε πληροφορία που απώλεσε ο κωδικοποιητής είτε σε ανεπαρκή παραγωγή στον λανθάνοντα χώρο. Οι μετρικές από άκρο σε άκρο συγκαλύπτουν αυτούς τους τρόπους αστοχίας και ενδέχεται να κατευθύνουν την προσπάθεια βελτιστοποίησης σε λάθος συνιστώσα.

Προσέγγιση

Το σταδιακό πρωτόκολλο βαθμολογεί τα πρωτότυπα, τις αντιστοιχισμένες ανακατασκευές του κωδικοποιητή–αποκωδικοποιητή, τις εξόδους MDLM στον χώρο διακριτικών και τις εξόδους διάχυσης στον χώρο κωδίκων με έναν εξωτερικό αξιολογητή GPT-2. Οι μετρήσεις του κωδικοβιβλίου και της γεωμετρίας παραμένουν διαγνωστικά μέσα και δεν υποκαθιστούν την ποιότητα του αποκωδικοποιημένου κειμένου.

Κύριο αποτέλεσμα

Η ανακατασκευή κωδικοποιητή-αποκωδικοποιητή αυξάνει τη διάμεση εξωτερική περιπλοκότητα από 15.17 σε 27.36 και το p95 από 25.10 σε 98.91. Το MDLM στον χώρο κωδίκων εξακολουθεί να μειώνει τη διάμεση περιπλοκότητα κατά 30.9% έναντι του MDLM στον χώρο διακριτικών.

Γιατί έχει σημασία

Το αποτέλεσμα μετατρέπει τη διάγνωση του σημείου συμφόρησης του κωδικοποιητή σε εφαρμόσιμη σειρά εργασιών: δώστε προτεραιότητα στις βελτιώσεις του κωδικοποιητή, έπειτα συγκρίνετε την παραγωγή στον χώρο διακριτικών και στον χώρο κωδίκων και εμπιστευθείτε τα κέρδη των υποκατάστατων μετρικών του λανθάνοντος χώρου μόνο όταν βελτιώνεται και το αποκωδικοποιημένο κείμενο.

Περίληψη

Οι γεννήτριες συμπιεσμένου σύντομου κειμένου μπορούν να αστοχήσουν σε δύο διαφορετικά σημεία: ο κωδικοποιητής-αποκωδικοποιητής ενδέχεται να απορρίψει πληροφορίες πριν αρχίσει η παραγωγή ή η γεννήτρια λανθανουσών αναπαραστάσεων να παράγει ανεπαρκείς κώδικες. Χωρίς διαχωρισμό αυτών των τρόπων αστοχίας, οι ερευνητές ενδέχεται να δαπανήσουν υπολογιστικούς πόρους βελτιώνοντας το λανθασμένο στοιχείο. Μελετούμε το πρόβλημα σε μια ελεγχόμενη μελέτη περίπτωσης TinyStories συμπίεσης 64-σε-16, βασισμένη σε έναν ιεραρχικό κωδικοποιητή-αποκωδικοποιητή VQ-VAE-2 και μια γεννήτρια διακριτής διάχυσης με απόκρυψη (MDLM). Χρησιμοποιούμε ένα σταδιακό πρωτόκολλο επικύρωσης που διαχωρίζει την πιστότητα ανακατασκευής κωδικοποιητή-αποκωδικοποιητή, την ποιότητα παραγωγής λανθανουσών αναπαραστάσεων και τα βοηθητικά διαγνωστικά τους υπό μία κοινή εξωτερική συνάρτηση βαθμολόγησης GPT-2, ενώ αναφέρουμε συμπληρωματικές σημασιολογικές μετρικές για τη μελέτη γεωμετρίας. Στην εξεταζόμενη διαμόρφωση, η ανακατασκευή κωδικοποιητή-αποκωδικοποιητή και μόνο αυξάνει τη διάμεση εξωτερική περιπλοκότητα από 15.17 σε 27.36 (+80.4%) και το p95 από 25.10 σε 98.91 (+294.1%), γεγονός που δείχνει ότι η κυρίαρχη απώλεια ποιότητας εμφανίζεται πριν αρχίσει η παραγωγή λανθανουσών αναπαραστάσεων. Με την ίδια συνάρτηση βαθμολόγησης, το MDLM στον χώρο κωδίκων παραμένει ουσιωδώς ισχυρότερο από τη διάχυση στον χώρο διακριτικών, μειώνοντας τον μέσο όρο, τη διάμεσο και το p95 κατά 32.9%, 30.9% και 36.6%, αντιστοίχως. Η κανονικοποίηση με επίγνωση της γεωμετρίας βελτιώνει τις τοπικές υποκατάστατες μετρικές των λανθανουσών αναπαραστάσεων, αλλά δεν βελτιώνει τις μετρικές αποκωδικοποιημένου κειμένου στις διαθέσιμες εκτελέσεις. Η συνεισφορά είναι μεθοδολογική και όχι αλγοριθμική: η εργασία παρουσιάζει μια επαναχρησιμοποιήσιμη σταδιακή διάγνωση για μία συγκεκριμένη ροή επεξεργασίας και δείχνει ότι, σε αυτό το πλαίσιο, το πρακτικό ανώτατο όριο ποιότητας καθορίζεται από την πιστότητα του κωδικοποιητή-αποκωδικοποιητή και όχι από την αποθορυβοποίηση των λανθανουσών αναπαραστάσεων.

Δημοσιεύτηκε στο 2026 39th Conference of Open Innovations Association (FRUCT)

Τύπος συνεισφοράς Διαγνωστική μεθοδολογία

τεύχος 1σσ. 69–76Κύριο συνέδριο

DOI https://doi.org/10.23919/FRUCT70069.2026.11506553

Κοινοποιήστε αυτή την εργασίαΚοινοποίηση

Κύρια αποτελέσματα

Κύρια αποτελέσματα του «Πού υποβαθμίζεται η ποιότητα στην παραγωγή συμπιεσμένου σύντομου κειμένου: σταδιακός εντοπισμός της συμφόρησης»
Σημείο αξιολόγησηςnΜέση PPLΔιάμεση PPLp95 PPL
Πρωτότυπα κείμενα25616.2415.1725.1
Ανακατασκευές κωδικοποιητή-αποκωδικοποιητή25637.2627.3698.91
Γραμμή βάσης AR25130.9823.2756.11
MDLM στον χώρο διακριτικών25644.7438.4293.6
MDLM στον χώρο κωδίκων25630.0126.5559.36

Κύριο αποτέλεσμα. Το μεγαλύτερο μέρος της παρατηρούμενης απώλειας ποιότητας εισάγεται πριν από την παραγωγή· ωστόσο, η διάχυση στον χώρο κωδίκων μειώνει τη διάμεση περιπλοκότητα κατά 30.9% σε σύγκριση με τη διάχυση στον χώρο διακριτικών.

Σύνολο δεδομένων
TinyStories
Μέγεθος δείγματος
256 ζεύγη δειγμάτων ανακατασκευής· 251–256 παραγόμενα δείγματα ανά τρόπο λειτουργίας· τέσσερις αντιστοιχισμένες ρυθμίσεις γεωμετρίας.
Μετρικές
Εξωτερικά υπολογιζόμενη περιπλοκότητα GPT-2: μέσος όρος, διάμεσος, p95 και μέγιστο· χρήση κωδικολεξίου και μέγεθος υποστήριξης· SBERT, BERTScore, MAUVE και σύνοψη κριτή LLM για τις εκτελέσεις γεωμετρίας
Αβεβαιότητα
Οι αναφερόμενες συγκρίσεις βασίζονται σε μεμονωμένες περιγραφικές εκτελέσεις· δεν υπολογίστηκαν διαστήματα εμπιστοσύνης ούτε εκτιμήσεις σημαντικότητας με πολλαπλούς σπόρους.
Συνθήκες
Ακολουθίες λεκτικών μονάδων GPT-2 μήκους 64, συμπιεσμένες σε 16 κώδικες ανώτατου επιπέδου με ιεραρχικό VQ-VAE-2· όλοι οι τρόποι παραγωγής χρησιμοποιούν τον κοινό εξωτερικό βαθμολογητή.

Λήψη αποτελεσμάτων:CSVJSONMarkdownΕξωτερικό αντίγραφο:Κάρτα συνόλου δεδομένων στο Hugging Face

PDF και παραπομπή

Βιβλιογραφική αναφορά στην εργασία Το BibTeX είναι η συνιστώμενη μορφή. Κάθε παραλλαγή που ακολουθεί παράγεται από την ίδια εγγραφή δημοσίευσης.

Άνοιγμα PDF
@inproceedings{Gavrilov2026WhereQuality,
  title      = {Where Quality Breaks in Compressed Short-Text Generation: Staged Bottleneck Localization},
  author     = {Gavrilov, Alexey and Gazzaev, Alan-Barsag and Muravyov, Sergey},
  booktitle  = {2026 39th Conference of Open Innovations Association (FRUCT)},
  publisher  = {IEEE},
  year       = {2026},
  pages      = {69--76},
  doi        = {10.23919/FRUCT70069.2026.11506553},
  url        = {https://doi.org/10.23919/FRUCT70069.2026.11506553},
  isbn       = {978-952-65246-5-8},
}
Λήψη .bib

Αρχεία παραπομπής:Κείμενο APAΚείμενο IEEERISCSL-JSONSchema.org JSON-LDOAI-DC XMLOpenAIRE v4 XMLMODS XMLΜεταδεδομένα JATS 1.4 σε XMLΠλήρες κείμενο σε JATS 1.4 XMLRDF TurtleΣύνολο συνδέσμων (JSON)Σύνολο συνδέσμων (HTTP)RO-Crate

DOI:https://doi.org/10.23919/FRUCT70069.2026.11506553

Πλήρης οδηγός

Πλήρης ερευνητικός οδηγός

Μέθοδος

Η εργασία χρησιμοποιεί έναν αξιολογητή σε τρία στάδια αξιολόγησης, ώστε κάθε πρόσθετος μετασχηματισμός να μπορεί να συσχετιστεί με ένα μετρήσιμο χάσμα ποιότητας.

  1. Ανακατασκευή

    Κωδικοποιήστε κάθε δείγμα TinyStories 64 λεκτικών μονάδων σε 16 κώδικες ανώτατου επιπέδου και αποκωδικοποιήστε το αμέσως, ώστε να μετρηθεί η απώλεια ανακατασκευής του κωδικοποιητή-αποκωδικοποιητή.

  2. Παραγωγή

    Παραγάγετε με το MDLM είτε λεκτικές μονάδες κειμένου είτε διακριτούς λανθάνοντες κώδικες και, στη συνέχεια, αποκωδικοποιήστε τα δείγματα του χώρου κωδίκων μέσω του ίδιου εκπαιδευμένου κωδικοποιητή-αποκωδικοποιητή.

  3. Σύγκριση

    Βαθμολογήστε τα πρωτότυπα, τις ανακατασκευές και τα παραγόμενα κείμενα με το ίδιο εξωτερικό πρωτόκολλο GPT-2, συμπεριλαμβανομένων των στατιστικών της διαμέσου και των ουρών.

Σταδιακή ροή παραγωγής συμπιεσμένου κειμένου που συγκρίνει το αρχικό κείμενο, την ανακατασκευή του κωδικοποιητή, το MDLM στον χώρο κωδίκων και το αποκωδικοποιημένο κείμενο, ώστε να διαχωριστεί η απώλεια του κωδικοποιητή από την απώλεια παραγωγής.
Ο σταδιακός εντοπισμός σημείων συμφόρησης διαχωρίζει την απώλεια ανακατασκευής του κωδικοποιητή από την απώλεια παραγωγής στον λανθάνοντα χώρο, με κοινό πρωτόκολλο αξιολόγησης αποκωδικοποιημένου κειμένου.Πηγή: Επεξηγηματικό διάγραμμα που δημιουργήθηκε από τον συγγραφέα βάσει της δημοσιευμένης μεθόδου και των αποτελεσμάτων..Όροι επαναχρησιμοποίησης: CC BY 4.0.Προτεινόμενη αναφορά: Gavrilov, Gazzaev, and Muravyov (2026), Where Quality Breaks in Compressed Short-Text Generation. Λήψη SVG.

Κεντρική ιδέα

Ένα κατάντη μοντέλο παραγωγής δεν μπορεί να ανακτήσει πληροφορίες που ο κωδικοποιητής έχει ήδη απορρίψει. Συνεπώς, το στάδιο ανακατασκευής πρέπει να ελέγχεται πριν από την ερμηνεία των αποτελεσμάτων παραγωγής στον λανθάνοντα χώρο.

Διαφορά από συναφείς προσεγγίσεις

Οι συνήθεις διατερματικές συγκρίσεις αναφέρουν μία τελική βαθμολογία παραγωγής. Το παρόν πρωτόκολλο εισάγει ένα συζευγμένο σημείο ελέγχου ανακατασκευής και διαχωρίζει τις διαγνωστικές μετρικές στον λανθάνοντα χώρο από τα τεκμήρια στο αποκωδικοποιημένο κείμενο.

Τι νέο εισάγεται

Η συνεισφορά συνίσταται σε μια επαναχρησιμοποιήσιμη, σταδιακή διαγνωστική μεθοδολογία για μία συγκεκριμένη ροή συμπιεσμένου κειμένου και όχι σε έναν νέο αλγόριθμο αποθορυβοποίησης.

Ερωτήματα στα οποία συμβάλλει να απαντήσει η εργασία

Ανοίξτε ένα ερώτημα για μια σύντομη απάντηση τεκμηριωμένη από την εργασία. Τα λεπτομερή όρια της τεκμηρίωσης παρατίθενται στους Περιορισμούς.

  1. Σε ποιο στάδιο υποβαθμίζεται η ποιότητα κατά την παραγωγή συμπιεσμένου σύντομου κειμένου;

    Στη δοκιμασμένη διοχέτευση TinyStories 64-προς-16, η κυρίαρχη υποβάθμιση εμφανίζεται κατά την ανακατασκευή κωδικοποιητή, προτού αρχίσει η παραγωγή στον λανθάνοντα χώρο. Η διάμεση εξωτερική περιπλοκότητα κατά GPT-2 αυξάνεται από 15.17 για το αρχικό κείμενο σε 27.36 μετά την ανακατασκευή, ενώ το p95 αυξάνεται από 25.10 σε 98.91. Πρόκειται για αποτέλεσμα μίας διάταξης και όχι για καθολική κατάταξη κωδικοποιητών.

  2. Πώς μπορεί η απώλεια του κωδικοποιητή να διαχωριστεί από την απώλεια παραγωγής στον λανθάνοντα χώρο;

    Το σταδιακό πρωτόκολλο αξιολογεί τα πρωτότυπα, τις αντιστοιχισμένες ανακατασκευές του κωδικοποιητή–αποκωδικοποιητή και το τελικό παραγόμενο κείμενο με έναν κοινό εξωτερικό βαθμολογητή. Η απόκλιση μεταξύ πρωτοτύπου και ανακατασκευής εκτιμά τη συμβολή του κωδικοποιητή–αποκωδικοποιητή, ενώ η σύγκριση της ανακατασκευής με την παραγόμενη έξοδο βοηθά στον εντοπισμό της πρόσθετης απώλειας παραγωγής. Οι μετρικές εύρυθμης λειτουργίας του λανθάνοντος χώρου αναφέρονται χωριστά από τα τεκμήρια του αποκωδικοποιημένου κειμένου.

  3. Πώς πρέπει να αξιολογείται η παραγωγή κειμένου με διακριτές λανθάνουσες αναπαραστάσεις;

    Η εργασία συνιστά τον έλεγχο της πιστότητας ανακατασκευής πριν από τη σύγκριση γεννητριών, την εφαρμογή του ίδιου αξιολογητή αποκωδικοποιημένου κειμένου σε κάθε στάδιο και την αναφορά κεντρικών στατιστικών και στατιστικών ουράς. Αντιμετωπίζει επίσης τη χρήση του λεξικού κωδίκων, τη γεωμετρία και άλλες υποκατάστατες μετρικές του λανθάνοντος χώρου ως διαγνωστικά στοιχεία και όχι ως υποκατάστατα της ποιότητας του αποκωδικοποιημένου κειμένου.

  4. Υπερέχει η διάχυση στον χώρο κωδίκων έναντι της διάχυσης στον χώρο λεκτικών μονάδων;

    Με τον κοινό βαθμολογητή και τη δοκιμασμένη διάταξη, το MDLM στον χώρο κωδίκων μειώνει τη μέση, τη διάμεση και την p95 περιπλοκότητα κατά 32.9%, 30.9% και 36.6%, αντίστοιχα, σε σχέση με το MDLM στον χώρο λεκτικών μονάδων. Η σύγκριση είναι περιγραφική και αφορά τη συγκεκριμένη διαμόρφωση: δεν θεμελιώνει καθολική κατάταξη μεταξύ συνόλων δεδομένων, λόγων συμπίεσης, κωδικοποιητών–αποκωδικοποιητών ή αρχιτεκτονικών διάχυσης.

  5. Εγγυώνται οι καλύτερες μετρικές γεωμετρίας του λανθάνοντος χώρου καλύτερο παραγόμενο κείμενο;

    Όχι. Στις διαθέσιμες αντιστοιχισμένες εκτελέσεις, η κανονικοποίηση με επίγνωση της γεωμετρίας βελτίωσε τοπικές προσεγγιστικές μετρικές του λανθάνοντος χώρου, αλλά όχι τις μετρικές του αποκωδικοποιημένου κειμένου. Το αποτέλεσμα συνηγορεί υπέρ του ελέγχου κάθε βελτίωσης προσεγγιστικής μετρικής στην τελική αποκωδικοποιημένη έξοδο και της αντιμετώπισης της μη μεταφοράς ως χρήσιμου αρνητικού αποτελέσματος, όχι ως ένδειξης βελτίωσης της παραγωγής.

Σύγκριση με συναφείς προσεγγίσεις

Πραγματολογική σύγκριση του «Πού υποβαθμίζεται η ποιότητα στην παραγωγή συμπιεσμένου σύντομου κειμένου: σταδιακός εντοπισμός της συμφόρησης» με συναφείς προσεγγίσεις
ΠροσέγγισηΑναπαράστασηΈλεγχος / διάγνωσηΤι διατηρείται ή μετράται
Διάχυση στον χώρο διακριτικώνΔιακριτικά κειμένουΠοιότητα παραγωγής στον χώρο λεκτικών μονάδωνΕυχέρεια και συμπεριφορά του βαθμολογητή κατά την άμεση παραγωγή
Συμπιεσμένη παραγωγή λανθανουσών αναπαραστάσεωνΔιακριτοί λανθάνοντες κώδικες μέσω κωδικοποιητή-αποκωδικοποιητήΤελική ποιότητα παραγωγής από άκρο σε άκροΣυνδυασμένη συμπεριφορά κωδικοποιητή-αποκωδικοποιητή και γεννήτριας λανθανουσών αναπαραστάσεων
Σταδιακός εντοπισμός σημείων συμφόρησηςΚείμενο, ανακατασκευές του κωδικοποιητή και διακριτές λανθάνουσες αναπαραστάσειςΔιαχωρίστε την απώλεια του κωδικοποιητή από την απώλεια παραγωγήςΠού υποβαθμίζεται η ποιότητα υπό έναν κοινό βαθμολογητή

Η σύγκριση διακρίνει την εμβέλεια της αξιολόγησης και τα τεκμήρια· δεν αποτελεί καθολική κατάταξη των προσεγγίσεων.

Συνάφεια και πεδίο εφαρμογής

Το σταδιακό πρωτόκολλο είναι χρήσιμο όταν μια παραγωγική ροή περιλαμβάνει τόσο έναν εκπαιδευμένο κωδικοποιητή–αποκωδικοποιητή όσο και μια γεννήτρια λανθάνοντος χώρου, αλλά η αιτία της υποβάθμισης της ποιότητας εξόδου παραμένει ασαφής.

  1. Συμπιεσμένη παραγωγή κειμένου με διακριτές λανθάνουσες αναπαραστάσεις

  2. Πιστότητα ανακατασκευής κωδικοποιητή-αποκωδικοποιητή σε παραγωγικές ροές επεξεργασίας

  3. Γλωσσική μοντελοποίηση καλυμμένης διάχυσης στον χώρο κωδίκων

  4. Εντοπισμός σημείου συμφόρησης και συνεπής μεταξύ σταδίων αξιολόγηση

  5. Έλεγχος των βελτιώσεων υποκατάστατων δεικτών στον λανθάνοντα χώρο ως προς το αποκωδικοποιημένο κείμενο

Δείτε τους περιορισμούς και τα όρια των τεκμηρίων

Περιορισμοί

  • Η εμπειρική μελέτη χρησιμοποιεί αποκλειστικά το TinyStories.
  • Η κύρια ανάλυση καλύπτει ένα επιθετικό καθεστώς συμπίεσης 64-προς-16.
  • Το αξιολογούμενο σύστημα συνδυάζει μία οικογένεια ιεραρχικών κωδικοποιητών VQ-VAE-2 με μία γεννήτρια MDLM.
  • Οι συγκρίσεις βασίζονται σε μεμονωμένες εκτελέσεις και είναι περιγραφικές, όχι στατιστικές εκτιμήσεις από πολλαπλούς σπόρους τυχαιότητας.
  • Η εξωτερικά υπολογιζόμενη περιπλοκότητα GPT-2 αποτελεί κοινό διαγνωστικό δείκτη και όχι καθολική μετρική σημασιολογικής ποιότητας.
  • Τα συμπεράσματα δεν πρέπει να μεταφέρονται αυτούσια σε όλα τα σύνολα δεδομένων, τις αρχιτεκτονικές κωδικοποιητών ή τους λόγους συμπίεσης.

Βιβλιογραφικές αναφορές της εργασίας

Οι εγγραφές αυτές αντιστοιχούν στην αριθμημένη ενότητα βιβλιογραφικών αναφορών του PDF της εργασίας.

  1. Subham Sekhar Sahoo, Marianne Arriola, Yair Schiff, Aaron Gokaslan, Edgar Marroquin, Justin T Chiu, Alexander Rush, Volodymyr Kuleshov. . Simple and Effective Masked Diffusion Language Models. Advances in Neural Information Processing Systems.
  2. Aaron van den Oord, Oriol Vinyals, Koray Kavukcuoglu. . Neural Discrete Representation Learning. Advances in Neural Information Processing Systems.
  3. Ali Razavi, Aaron van den Oord, Oriol Vinyals. . Generating Diverse High-Fidelity Images with VQ-VAE-2. Advances in Neural Information Processing Systems.
  4. Jacob Austin, Daniel D. Johnson, Jonathan Ho, Daniel Tarlow, Rianne van den Berg. . Structured Denoising Diffusion Models in Discrete State-Spaces. Advances in Neural Information Processing Systems.
  5. Aaron Lou, Chenlin Meng, Stefano Ermon. . Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution. Proceedings of the 41st International Conference on Machine Learning.
  6. Xiaochuang Han, Sachin Kumar, Yulia Tsvetkov. . SSD-LM: Semi-autoregressive Simplex-based Diffusion Language Model for Text Generation and Modular Control. Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics.
  7. Xiang Lisa Li, John Thickstun, Ishaan Gulrajani, Percy Liang, Tatsunori B. Hashimoto. . Diffusion-LM Improves Controllable Text Generation. Advances in Neural Information Processing Systems.
  8. Huiwen Chang, Han Zhang, Lu Jiang, Ce Liu, William T. Freeman. . MaskGIT: Masked Generative Image Transformer. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.
  9. Marjan Ghazvininejad, Omer Levy, Yinhan Liu, Luke Zettlemoyer. . Mask-Predict: Parallel Decoding of Conditional Masked Language Models. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing.
  10. Emiel Hoogeboom, Didrik Nielsen, Priyank Jaini, Patrick Forré, Max Welling. . Argmax Flows and Multinomial Diffusion: Learning Categorical Distributions. Advances in Neural Information Processing Systems.
  11. Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever. . Language Models are Unsupervised Multitask Learners. OpenAI Technical Report.
  12. Nils Reimers, Iryna Gurevych. . Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing.
  13. Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, Yoav Artzi. . BERTScore: Evaluating Text Generation with BERT. International Conference on Learning Representations.
  14. Krishna Pillutla, Swabha Swayamdipta, Rowan Zellers, John Thickstun, Sean Welleck, Yejin Choi, Zaid Harchaoui. . MAUVE: Measuring the Gap Between Neural Text and Human Text using Divergence Frontiers. Advances in Neural Information Processing Systems.
  15. Lianmin Zheng, Wei-Lin Chiang, Ying Sheng, Siyuan Zhuang, Zhanghao Wu, Yonghao Zhuang, Zi Lin, Zhuohan Li, Dacheng Li, Eric P. Xing, Hao Zhang, Joseph E. Gonzalez, Ion Stoica. . Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. Advances in Neural Information Processing Systems, Datasets and Benchmarks Track.

Πόροι και αναπαραγωγιμότητα

Εκδότης
IEEE
Πόροι δημοσίευσης
Το δημόσιο χειρόγραφο, οι πίνακες αποτελεσμάτων, το επεξηγηματικό σχήμα και τα αρχεία παραπομπών διατίθενται εδώ. Ο κώδικας υλοποίησης και τα σημεία ελέγχου δεν έχουν δημοσιοποιηθεί.

Δήλωση δεδομένων

Πηγή
Το TinyStories, όπως περιγράφεται στην εργασία.
Άδεια χρήσης
Η χρήση του TinyStories εξακολουθεί να διέπεται από τους όρους του ίδιου του συνόλου δεδομένων· ο ιστότοπος δεν αναδιανέμει αρχεία του συνόλου δεδομένων.
Προεπεξεργασία
Κατάτμηση σε λεκτικές μονάδες GPT-2, είσοδοι σταθερού μήκους 64 λεκτικών μονάδων και ιεραρχική χρονική συμπίεση από 64 σε 32 και κατόπιν σε 16 θέσεις.
Διαίρεση
Η δημοσίευση αναφέρει 256 συζευγμένα δείγματα ανακατασκευής και 251–256 παραγόμενα δείγματα ανά τρόπο λειτουργίας· δεν δημοσιεύει επαναχρησιμοποιήσιμο αρχείο καταγραφής του διαχωρισμού εκπαίδευσης/επικύρωσης.
Μορφή
Δείγματα σύντομου κειμένου, ακολουθίες διακριτικών GPT-2, ακολουθίες διακριτών κωδίκων, αρχεία καταγραφής παραγωγής και συνοπτικοί πίνακες.
Έκδοση / άθροισμα ελέγχου
Στο άρθρο δεν αναφέρεται άθροισμα ελέγχου του συνόλου δεδομένων ή αναγνωριστικό αμετάβλητου στιγμιοτύπου TinyStories.
Απόκτηση
Δεν διατίθεται δημόσιο σενάριο απόκτησης μαζί με τη σελίδα της δημοσίευσης.
Όρια χρήσης
Τα τεκμήρια καλύπτουν σύντομες συνθετικές ιστορίες και δεν πρέπει να αντιμετωπίζονται ως σημείο αναφοράς για απεριόριστη παραγωγή φυσικής γλώσσας.

Εκδόσεις

  1. Δημοσιευμένη έκδοσηIEEE / FRUCT, 2026
  4. Χειρόγραφο του συγγραφέαΤοπικό PDF προσβάσιμο ως κείμενο
  5. Ομιλία σε συνέδριοΠαρουσίαση στο FRUCT 39
  6. Ευρετήριο πρακτικών συνεδρίουΕπίσημος τόμος FRUCT 39
  7. PDF πρακτικών συνεδρίουΑνοικτό πλήρες κείμενο του FRUCT
  8. Άνοιγμα επιστημονικής εγγραφήςOpenAlex
  9. Εγγραφή γράφου παραπομπώνSemantic Scholar
  10. Πλήρες κείμενο που κοινοποιήθηκε από τον συγγραφέαResearchGate

Το δημοσιευμένο DOI αποτελεί το κύριο βιβλιογραφικό αναγνωριστικό. Η παρούσα σελίδα παραμένει το μοναδικό κανονικό URL του έργου σε όλες τις εκδόσεις.

Διαβάστε τον Διάγνωση της συμφόρησης του κωδικοποιητή-αποκωδικοποιητή ερευνητικό οδηγό.Σχετικά με τον συγγραφέα.

Εστιασμένα ερευνητικά σημειώματα

Απαντήσεις προσαρμοσμένες στην εκάστοτε πρόθεση, με σαφή όρια τεκμηρίωσης και συνδέσμους προς το παρόν άρθρο.