تعتمد نماذج التلخيص المبخرية للحديث عن الفن بشكل عام على بيانات مسامحة واسعة النطاق، مما أدنى من قدرة تعميمها على المجالات التي لا تتوفر فيها هذه البيانات. في هذه الورقة، نقدم دراسة لتكييف المجال لمهمة تلخيص الجماع عبر ست مجالات مستهدفة متنوعة في إعداد الموارد المنخفضة. على وجه التحديد، نقوم بالتحقيق في المرحلة الثانية من التدريب المسبق على النماذج الإدارية على نطاق واسع تحت ثلاثة إعدادات مختلفة: 1) التدريب قبل التدريب مسبقا؛ 2) ما قبل التكيف مع المجال و 3) ما قبل التدرب في المهام. تشير التجارب إلى أن فعالية التدريب المسبق مرتبط مع التشابه بين بيانات ما قبل التدريب ومهمة المجال المستهدف. علاوة على ذلك، نجد أن التدريب المستمر المستمر يمكن أن يؤدي إلى النسيان الكارثي في النموذج المدرب مسبقا، وسيلة التعلم ذات النسيان الأقل يمكن تخفيف هذه المشكلة. علاوة على ذلك، توضح النتائج أن الفجوة الضخمة لا تزال موجودة بين إعدادات الموارد المنخفضة والموارد عالية، والتي تبرز الحاجة إلى طرق تكيف مجال أكثر تقدما لمهمة تلخيص التلخيص.
State-of-the-art abstractive summarization models generally rely on extensive labeled data, which lowers their generalization ability on domains where such data are not available. In this paper, we present a study of domain adaptation for the abstractive summarization task across six diverse target domains in a low-resource setting. Specifically, we investigate the second phase of pre-training on large-scale generative models under three different settings: 1) source domain pre-training; 2) domain-adaptive pre-training; and 3) task-adaptive pre-training. Experiments show that the effectiveness of pre-training is correlated with the similarity between the pre-training data and the target domain task. Moreover, we find that continuing pre-training could lead to the pre-trained model's catastrophic forgetting, and a learning method with less forgetting can alleviate this issue. Furthermore, results illustrate that a huge gap still exists between the low-resource and high-resource settings, which highlights the need for more advanced domain adaptation methods for the abstractive summarization task.
References used
https://aclanthology.org/
This paper explores the effect of using multitask learning for abstractive summarization in the context of small training corpora. In particular, we incorporate four different tasks (extractive summarization, language modeling, concept detection, and
A crucial difference between single- and multi-document summarization is how salient content manifests itself in the document(s). While such content may appear at the beginning of a single document, essential information is frequently reiterated in a
A bigger is better'' explosion in the number of parameters in deep neural networks has made it increasingly challenging to make state-of-the-art networks accessible in compute-restricted environments. Compression techniques have taken on renewed impo
Abstractive summarization, the task of generating a concise summary of input documents, requires: (1) reasoning over the source document to determine the salient pieces of information scattered across the long document, and (2) composing a cohesive t
Neural abstractive summarization systems have gained significant progress in recent years. However, abstractive summarization often produce inconsisitent statements or false facts. How to automatically generate highly abstract yet factually correct s