تقدم هذه الورقة نهجا فعالا معززا في الرسم البياني لتلخيص متعدد الوثائق (MDS) مع نموذج محول ترميز فك التشفير. يعتمد هذا النموذج على التطورات الحديثة في التدريب المسبق على كل من التشفير والكشف عن البيانات النصية الكبيرة للغاية (لويس وآخرون، 2019)، ويتض
من آلية ترميز فعالة (Beltagy et al.، 2020) التي تتجنب نمو الذاكرة التربيعية نموذجي للمحولات التقليدية. نظهر أن هذا المجموعة القوية ليس فقط المقاييس لوثائق المدخلات الكبيرة التي تم العثور عليها عادة عند تلخيص مجموعات إخبارية؛ كما تمكننا من معالجة مدخلات إضافية في شكل تمثيلات رسم بياني إضافي، والتي نستمدها من مجموعات متعددة الوثائق. نقدم آلية لإدراج معلومات الرسم البياني هذه في نموذج ترميز التشفير الذي تم تدريبه مسبقا على النص فقط. يؤدي نهجنا إلى تحسينات كبيرة في مجموعة بيانات الأخبار المتعددة، بشكل عام يؤدي إلى تحسن نقاط Rouge في المتوسط 1.8 على العمل السابق (لي وآخرون، 2020). نعرض أيضا تحسينات في إعداد نقل فقط على DUC-2004 DataSet. يؤدي ترميزات الرسم البياني إلى ملخصات أكثر إفراط. يوضح التقييم البشري أنهم أكثر إفادة أكثر إفادة ومستمرة في الواقع مع وثائق المدخلات.
تلخيص الجماعي، مهمة توليد ملخص موجز لمستندات المدخلات، يتطلب: (1) التفكير في المستند المصدر لتحديد القطع البارزة من المعلومات المنتشرة عبر المستند الطويل، و (2) تأليف نص متماسك بإعادة بناء هذه الحقائق البارزة في ملخص أقصر يعكس بإخلاص العلاقات المعقدة
التي تربط هذه الحقائق. في هذه الورقة، نتكيف مع TP-Transformer (Schlag et al.، 2019)، وهي عبارة عن بنية تثري المحولات الأصلية (Vaswani et al.، 2017) مع تمثيل المنتج التركيبي الصريح للتوتر (TPR)، لمهمة التلخيص المبشور وبعد الميزة الرئيسية لطرازنا هي التحيز الهيكلي الذي نقدمه من خلال ترميز مجموعتين منفصلين لكل رمزي لتمثيل الهيكل النحوي (مع ناقلات الدور) والمحتوى الدلالي (مع ناقلات حشو) بشكل منفصل. ثم يربط النموذج ثم متجاهلة الدور والحشو إلى TPR كإخراج الطبقة. نقول أن التمثيلات الوسيطة المنظمة تمكن النموذج من السيطرة بشكل أفضل على المحتويات (الحقائق البارزة) والهياكل (بناء الجملة الذي يربط الحقائق) عند إنشاء الملخص. وإظهار تجريبيا، نظرا لأن لدينا TP-Transforment تفوقنا على المحول ومحول TP الأصلي بشكل كبير على العديد من مجموعات بيانات تلخيص الجماع على حد سواء التقييمات التلقائية والإنسانية. في العديد من المهام التحقيق النحوية واللالسة، نوضح المعلومات الهيكلية الناشئة في مجاهاجر الدور واكتساب الأداء من خلال خصوصية المعلومات من مواقف الدور وتحسين الترجمة الترجمة الترجمة النحوية في مخرجات طبقة TPR. (التعليمات البرمجية المتاحة في HTTPS: // github.com/jianggyctarheel/tpt-summ)
