مشكلة طويلة الأمد مع إعادة صياغة إعادة صياغة هي الافتقار إلى إشارات الإشراف الموثوقة. في هذه الورقة، نقترح نموذجا جديدا غير منشئين من أجل إعادة صياغة إعادة صياغة إعادة صياغة نصها بناء على افتراض أن احتمالات توليد جملتين بنفس المعنى بالنظر إلى نفس السياق يجب أن يكون هو نفسه. مستوحاة من هذه الفكرة الأساسية، نقترح نظام خط أنابيب يتكون من إعادة صياغة ترجمة المرشحة بناء على نماذج اللغة السياقية، ومرشح المرشح باستخدام وظائف التسجيل، وإعادة صياغة التدريب النموذجي على أساس المرشحين المحددين. تقدم النموذج المقترح مزايا حول طرق إنشاء الصياغة الحالية: (1) باستخدام السياق العدواني على المعاني، يكون النموذج من إنشاء كميات ضخمة من أزواج إعادة صياغة عالية الجودة؛ (2) مزيج من المبلغ الهائل من المرشحين لإعادة صياغة الصياغة وزيادة ترويج التنوع يتجاوزون الخلاصات مع مزيد من التنوع المعجمي والنزاع؛ و (3) استخدام وظائف تسجيل التخصيب البشرية لتحديد إعادة صياغة أزواج من المرشحين، يوفر الإطار المقترح قناة للمطورين للتدخل مع عملية توليد البيانات، مما يؤدي إلى نموذج أكثر قابلية للتحكم. توضح النتائج التجريبية عبر المهام المختلفة ومجموعات البيانات أن النموذج المقترح تتفوق بشكل كبير على النهج التي يتم إعادة صياغة النصوص الموجودة في كل من الإعدادات الإشرافية وغير المدفوعة.
A long-standing issue with paraphrase generation is the lack of reliable supervision signals. In this paper, we propose a new unsupervised paradigm for paraphrase generation based on the assumption that the probabilities of generating two sentences with the same meaning given the same context should be the same. Inspired by this fundamental idea, we propose a pipelined system which consists of paraphrase candidate generation based on contextual language models, candidate filtering using scoring functions, and paraphrase model training based on the selected candidates. The proposed paradigm offers merits over existing paraphrase generation methods: (1) using the context regularizer on meanings, the model is able to generate massive amounts of high-quality paraphrase pairs; (2) the combination of the huge amount of paraphrase candidates and further diversity-promoting filtering yields paraphrases with more lexical and syntactic diversity; and (3) using human-interpretable scoring functions to select paraphrase pairs from candidates, the proposed framework provides a channel for developers to intervene with the data generation process, leading to a more controllable model. Experimental results across different tasks and datasets demonstrate that the proposed paradigm significantly outperforms existing paraphrase approaches in both supervised and unsupervised setups.
References used
https://aclanthology.org/
Paraphrase generation is an important task in natural language processing. Previous works focus on sentence-level paraphrase generation, while ignoring document-level paraphrase generation, which is a more challenging and valuable task. In this paper
This paper focuses on paraphrase generation,which is a widely studied natural language generation task in NLP. With the development of neural models, paraphrase generation research has exhibited a gradual shift to neural methods in the recent years.
We propose to control paraphrase generation through carefully chosen target syntactic structures to generate more proper and higher quality paraphrases. Our model, AESOP, leverages a pretrained language model and adds deliberately chosen syntactical
Paraphrase generation is a longstanding NLP task that has diverse applications on downstream NLP tasks. However, the effectiveness of existing efforts predominantly relies on large amounts of golden labeled data. Though unsupervised endeavors have be
Exemplar-Guided Paraphrase Generation (EGPG) aims to generate a target sentence which conforms to the style of the given exemplar while encapsulating the content information of the source sentence. In this paper, we propose a new method with the goal