هي بارت: ملخص الوثيقة مع بارت هرمي

تقترح هذه الورقة نموذجا جديدا لتلخيص وثائق الجماعي، بارت هرمي (HIE-BART)، والذي يلتقط الهياكل الهرمية للمستند (I.E.، هياكل الجملة) في نموذج بارت.على الرغم من أن نموذج بارت الحالي قد حقق أداء أحدث في مهام تلخيص المستندات، إلا أن النموذج ليس لديه التفاعلات بين المعلومات على مستوى الجملة ومعلومات على مستوى الكلمات.في مهام الترجمة الآلية، تم تحسين أداء نماذج الترجمة الآلية العصبية من خلال دمج اهتمام الذات المتعدد الحبيبية (MG-SA)، والذي يلتقط العلاقات بين الكلمات والعبارات.مستوحاة من العمل السابق، يشتمل نموذج HIE-BART المقترح على MG-SA في تشفير نموذج BART لالتقاط هياكل الجملة.تظهر التقييمات المتعلقة بطبقة بيانات CNN / Daily Mail أن نموذج HIE-BARD المقترح يفوق بعض خطوط الأساس القوية وتحسين أداء نموذج بارت غير هرمي (+0.23 Rouge-L).

This paper proposes a new abstractive document summarization model, hierarchical BART (Hie-BART), which captures hierarchical structures of a document (i.e., sentence-word structures) in the BART model. Although the existing BART model has achieved a state-of-the-art performance on document summarization tasks, the model does not have the interactions between sentence-level information and word-level information. In machine translation tasks, the performance of neural machine translation models has been improved by incorporating multi-granularity self-attention (MG-SA), which captures the relationships between words and phrases. Inspired by the previous work, the proposed Hie-BART model incorporates MG-SA into the encoder of the BART model for capturing sentence-word structures. Evaluations on the CNN/Daily Mail dataset show that the proposed Hie-BART model outperforms some strong baselines and improves the performance of a non-hierarchical BART model (+0.23 ROUGE-L).