تخصيب المحولات بتمثيلات منتجات العمال المهيكلة لتلخيص مبادرة

تلخيص الجماعي، مهمة توليد ملخص موجز لمستندات المدخلات، يتطلب: (1) التفكير في المستند المصدر لتحديد القطع البارزة من المعلومات المنتشرة عبر المستند الطويل، و (2) تأليف نص متماسك بإعادة بناء هذه الحقائق البارزة في ملخص أقصر يعكس بإخلاص العلاقات المعقدة التي تربط هذه الحقائق. في هذه الورقة، نتكيف مع TP-Transformer (Schlag et al.، 2019)، وهي عبارة عن بنية تثري المحولات الأصلية (Vaswani et al.، 2017) مع تمثيل المنتج التركيبي الصريح للتوتر (TPR)، لمهمة التلخيص المبشور وبعد الميزة الرئيسية لطرازنا هي التحيز الهيكلي الذي نقدمه من خلال ترميز مجموعتين منفصلين لكل رمزي لتمثيل الهيكل النحوي (مع ناقلات الدور) والمحتوى الدلالي (مع ناقلات حشو) بشكل منفصل. ثم يربط النموذج ثم متجاهلة الدور والحشو إلى TPR كإخراج الطبقة. نقول أن التمثيلات الوسيطة المنظمة تمكن النموذج من السيطرة بشكل أفضل على المحتويات (الحقائق البارزة) والهياكل (بناء الجملة الذي يربط الحقائق) عند إنشاء الملخص. وإظهار تجريبيا، نظرا لأن لدينا TP-Transforment تفوقنا على المحول ومحول TP الأصلي بشكل كبير على العديد من مجموعات بيانات تلخيص الجماع على حد سواء التقييمات التلقائية والإنسانية. في العديد من المهام التحقيق النحوية واللالسة، نوضح المعلومات الهيكلية الناشئة في مجاهاجر الدور واكتساب الأداء من خلال خصوصية المعلومات من مواقف الدور وتحسين الترجمة الترجمة الترجمة النحوية في مخرجات طبقة TPR. (التعليمات البرمجية المتاحة في HTTPS: // github.com/jianggyctarheel/tpt-summ)