conrpg: إعادة صياغة التوليد باستخدام السياقات كما العظمية

مشكلة طويلة الأمد مع إعادة صياغة إعادة صياغة هي الافتقار إلى إشارات الإشراف الموثوقة. في هذه الورقة، نقترح نموذجا جديدا غير منشئين من أجل إعادة صياغة إعادة صياغة إعادة صياغة نصها بناء على افتراض أن احتمالات توليد جملتين بنفس المعنى بالنظر إلى نفس السياق يجب أن يكون هو نفسه. مستوحاة من هذه الفكرة الأساسية، نقترح نظام خط أنابيب يتكون من إعادة صياغة ترجمة المرشحة بناء على نماذج اللغة السياقية، ومرشح المرشح باستخدام وظائف التسجيل، وإعادة صياغة التدريب النموذجي على أساس المرشحين المحددين. تقدم النموذج المقترح مزايا حول طرق إنشاء الصياغة الحالية: (1) باستخدام السياق العدواني على المعاني، يكون النموذج من إنشاء كميات ضخمة من أزواج إعادة صياغة عالية الجودة؛ (2) مزيج من المبلغ الهائل من المرشحين لإعادة صياغة الصياغة وزيادة ترويج التنوع يتجاوزون الخلاصات مع مزيد من التنوع المعجمي والنزاع؛ و (3) استخدام وظائف تسجيل التخصيب البشرية لتحديد إعادة صياغة أزواج من المرشحين، يوفر الإطار المقترح قناة للمطورين للتدخل مع عملية توليد البيانات، مما يؤدي إلى نموذج أكثر قابلية للتحكم. توضح النتائج التجريبية عبر المهام المختلفة ومجموعات البيانات أن النموذج المقترح تتفوق بشكل كبير على النهج التي يتم إعادة صياغة النصوص الموجودة في كل من الإعدادات الإشرافية وغير المدفوعة.

A long-standing issue with paraphrase generation is the lack of reliable supervision signals. In this paper, we propose a new unsupervised paradigm for paraphrase generation based on the assumption that the probabilities of generating two sentences with the same meaning given the same context should be the same. Inspired by this fundamental idea, we propose a pipelined system which consists of paraphrase candidate generation based on contextual language models, candidate filtering using scoring functions, and paraphrase model training based on the selected candidates. The proposed paradigm offers merits over existing paraphrase generation methods: (1) using the context regularizer on meanings, the model is able to generate massive amounts of high-quality paraphrase pairs; (2) the combination of the huge amount of paraphrase candidates and further diversity-promoting filtering yields paraphrases with more lexical and syntactic diversity; and (3) using human-interpretable scoring functions to select paraphrase pairs from candidates, the proposed framework provides a channel for developers to intervene with the data generation process, leading to a more controllable model. Experimental results across different tasks and datasets demonstrate that the proposed paradigm significantly outperforms existing paraphrase approaches in both supervised and unsupervised setups.