تلخيص النص وترفيحات الرسوم البيانية بكفاءة من مجموعات متعددة الوثائق

تقدم هذه الورقة نهجا فعالا معززا في الرسم البياني لتلخيص متعدد الوثائق (MDS) مع نموذج محول ترميز فك التشفير. يعتمد هذا النموذج على التطورات الحديثة في التدريب المسبق على كل من التشفير والكشف عن البيانات النصية الكبيرة للغاية (لويس وآخرون، 2019)، ويتضمن آلية ترميز فعالة (Beltagy et al.، 2020) التي تتجنب نمو الذاكرة التربيعية نموذجي للمحولات التقليدية. نظهر أن هذا المجموعة القوية ليس فقط المقاييس لوثائق المدخلات الكبيرة التي تم العثور عليها عادة عند تلخيص مجموعات إخبارية؛ كما تمكننا من معالجة مدخلات إضافية في شكل تمثيلات رسم بياني إضافي، والتي نستمدها من مجموعات متعددة الوثائق. نقدم آلية لإدراج معلومات الرسم البياني هذه في نموذج ترميز التشفير الذي تم تدريبه مسبقا على النص فقط. يؤدي نهجنا إلى تحسينات كبيرة في مجموعة بيانات الأخبار المتعددة، بشكل عام يؤدي إلى تحسن نقاط Rouge في المتوسط ​​1.8 على العمل السابق (لي وآخرون، 2020). نعرض أيضا تحسينات في إعداد نقل فقط على DUC-2004 DataSet. يؤدي ترميزات الرسم البياني إلى ملخصات أكثر إفراط. يوضح التقييم البشري أنهم أكثر إفادة أكثر إفادة ومستمرة في الواقع مع وثائق المدخلات.

This paper presents an efficient graph-enhanced approach to multi-document summarization (MDS) with an encoder-decoder Transformer model. This model is based on recent advances in pre-training both encoder and decoder on very large text data (Lewis et al., 2019), and it incorporates an efficient encoding mechanism (Beltagy et al., 2020) that avoids the quadratic memory growth typical for traditional Transformers. We show that this powerful combination not only scales to large input documents commonly found when summarizing news clusters; it also enables us to process additional input in the form of auxiliary graph representations, which we derive from the multi-document clusters. We present a mechanism to incorporate such graph information into the encoder-decoder model that was pre-trained on text only. Our approach leads to significant improvements on the Multi-News dataset, overall leading to an average 1.8 ROUGE score improvement over previous work (Li et al., 2020). We also show improvements in a transfer-only setup on the DUC-2004 dataset. The graph encodings lead to summaries that are more abstractive. Human evaluation shows that they are also more informative and factually more consistent with their input documents.