تعلم النسخ من تاريخ النسخ: شبكة النسخ المرصعة لتلخيص إطفاء

كان لآلية النسخ نجاحا كبيرا في تلخيص الجماعي، مما يسهل النماذج لنسخ الكلمات مباشرة من نص الإدخال إلى ملخص الإخراج. يعمل Works الموجود في الغالب اهتماما في تشفير التشفير، والتي تنطبق النسخ في كل مرة خطوة في الوقت المستقل من السابقين. ومع ذلك، فقد يؤدي ذلك في بعض الأحيان إلى نسخ غير مكتمل. في هذه الورقة، نقترح خطة نسخ رواية تسمى شبكة النسخ المصنعة للتصوير (COOCONET) تعزز آلية النسخ القياسية عن طريق تتبع تاريخ النسخ. وبالتالي يستفيد من توزيعات النسخ المسبقة، وفي كل خطوة في كل مرة، يشجع النموذج بشكل صريح على نسخ كلمة الإدخال ذات الصلة بالوحدة المنسوخة مسبقا. بالإضافة إلى ذلك، نقوم بتعزيز جوز الهند من خلال التدريب المسبق مع شركة سورية مناسبة محاكاة سلوكيات النسخ. تظهر النتائج التجريبية أن CocoNet يمكن أن نسخ أكثر دقة وتحقق أدائا جديدا جديدا في معايير تلخيص، بما في ذلك CNN / Dailymail لتلخيص الأخبار وسامسوم لتلخيص الحوار. سيتم توفير التعليمات البرمجية ونقطة التفتيش علانية.

The copying mechanism has had considerable success in abstractive summarization, facilitating models to directly copy words from the input text to the output summary. Existing works mostly employ encoder-decoder attention, which applies copying at each time step independently of the former ones. However, this may sometimes lead to incomplete copying. In this paper, we propose a novel copying scheme named Correlational Copying Network (CoCoNet) that enhances the standard copying mechanism by keeping track of the copying history. It thereby takes advantage of prior copying distributions and, at each time step, explicitly encourages the model to copy the input word that is relevant to the previously copied one. In addition, we strengthen CoCoNet through pre-training with suitable corpora that simulate the copying behaviors. Experimental results show that CoCoNet can copy more accurately and achieves new state-of-the-art performances on summarization benchmarks, including CNN/DailyMail for news summarization and SAMSum for dialogue summarization. The code and checkpoint will be publicly available.