التنبؤ بأشجار الخطاب من الملخصات العصبية القائمة على المحولات

يشير العمل السابق إلى أن معلومات خطاب المعلومات المتعلقة بالتلخيص.في هذه الورقة، نستكشف ما إذا كان هذا التآزر بين الخطاب والتلخيص ثنائي الاتجاه، من خلال استنتاج أشجار الخطاب على مستوى المستند من الملخصات العصبية المدربة مسبقا.على وجه الخصوص، نولد أشجار خطاب على الطراز الأول غير المسموح به من مصفوفات الانتباه الذاتي لنموذج المحول.تكشف التجارب عبر النماذج ومجموعات البيانات أن الملخصات تتعلم كل من معلومات الخطاب على حد سواء، والاعتماد على نمط الدوائر الانتخابية، والتي يتم ترميزها عادة في رأس واحد، تغطي تبعيات الخطاب طويلا وقصيرا.بشكل عام، تشير النتائج التجريبية إلى أن معلومات الخطاب المستفادة عامة ومباشرة قابلة للتحويل.

Previous work indicates that discourse information benefits summarization. In this paper, we explore whether this synergy between discourse and summarization is bidirectional, by inferring document-level discourse trees from pre-trained neural summarizers. In particular, we generate unlabeled RST-style discourse trees from the self-attention matrices of the transformer model. Experiments across models and datasets reveal that the summarizer learns both, dependency- and constituency-style discourse information, which is typically encoded in a single head, covering long- and short-distance discourse dependencies. Overall, the experimental results suggest that the learned discourse information is general and transferable inter-domain.