عند تقليل التكرار في تلخيص مبادرة

يؤدي التكرار في جيل اللغة الطبيعية إلى تقليل معلومات النص ويجعله أقل جاذبية.تم اقتراح تقنيات مختلفة لتخفيفها.في هذا العمل، نستكشف واقتراح تقنيات للحد من التكرار في تلخيص مبادرة.أولا، نستكشف تطبيق التدريب غير المحامي وتضمين المصفوفين من العمل السابق على نمذجة اللغة إلى تلخيص مبادرة.بعد ذلك، نقوم بتوسيع التغطية وآليات الاهتمام الزمني إلى مستوى الرمز المميز للحد من التكرار.في تجاربنا على مجموعة بيانات CNN / Daily Mail، نلاحظ أن هذه التقنيات تقلل من مقدار التكرار وزيادة معلومات الإصلاحية من الملخصات، والتي نؤكد عن طريق التقييم البشري.

Repetition in natural language generation reduces the informativeness of text and makes it less appealing. Various techniques have been proposed to alleviate it. In this work, we explore and propose techniques to reduce repetition in abstractive summarization. First, we explore the application of unlikelihood training and embedding matrix regularizers from previous work on language modeling to abstractive summarization. Next, we extend the coverage and temporal attention mechanisms to the token level to reduce repetition. In our experiments on the CNN/Daily Mail dataset, we observe that these techniques reduce the amount of repetition and increase the informativeness of the summaries, which we confirm via human evaluation.