Aesop: إعادة صياغة إنشاءات مع التحكم في النحوية التكيفية

نقترح التحكم في إعادة صياغة إعادة صياغة الصياغة من خلال الهياكل النحوية المستهدفة المختارة بعناية لتوليد المزيد من صياغة أعلى جودة أعلى وجودة.نموذجنا، Aesop، يرفع نموذج لغة مسبقين ويضيف عن عمد تم اختيار عنصر تحكم ترنيع عمدا عبر وحدة التحديد القائمة على استرجاع لإنشاء صیر بطلاقة.تشير التجارب إلى أن إيسوب يحقق عروضا حديثة على الحفظ الدلالي والتشطيب النحوي في مجموعات بيانات قياسية مع السيطرة النحوية من الحقيقة الأرضية من النماذج المشروح البشرية.علاوة على ذلك، مع وحدة اختيار بناء الجملة المستهدفة المستندة إلى الاسترجاع، يولد AESOP إعادة صياغة مع صفات أفضل من أفضل النماذج الحالية باستخدام التقييم النحوي المستهدف البشري وفقا للتقييم البشري.نوضح فعاليات AESOP لتحسين نماذج تصنيف النماذج على الإقلاع النحوي عن طريق تكبير البيانات على مهام الغراء.

We propose to control paraphrase generation through carefully chosen target syntactic structures to generate more proper and higher quality paraphrases. Our model, AESOP, leverages a pretrained language model and adds deliberately chosen syntactical control via a retrieval-based selection module to generate fluent paraphrases. Experiments show that AESOP achieves state-of-the-art performances on semantic preservation and syntactic conformation on two benchmark datasets with ground-truth syntactic control from human-annotated exemplars. Moreover, with the retrieval-based target syntax selection module, AESOP generates paraphrases with even better qualities than the current best model using human-annotated target syntactic parses according to human evaluation. We further demonstrate the effectiveness of AESOP to improve classification models' robustness to syntactic perturbation by data augmentation on two GLUE tasks.