Adaptsum: نحو تكيف مجال الموارد المنخفضة لتلخيص مبادرة

تعتمد نماذج التلخيص المبخرية للحديث عن الفن بشكل عام على بيانات مسامحة واسعة النطاق، مما أدنى من قدرة تعميمها على المجالات التي لا تتوفر فيها هذه البيانات. في هذه الورقة، نقدم دراسة لتكييف المجال لمهمة تلخيص الجماع عبر ست مجالات مستهدفة متنوعة في إعداد الموارد المنخفضة. على وجه التحديد، نقوم بالتحقيق في المرحلة الثانية من التدريب المسبق على النماذج الإدارية على نطاق واسع تحت ثلاثة إعدادات مختلفة: 1) التدريب قبل التدريب مسبقا؛ 2) ما قبل التكيف مع المجال و 3) ما قبل التدرب في المهام. تشير التجارب إلى أن فعالية التدريب المسبق مرتبط مع التشابه بين بيانات ما قبل التدريب ومهمة المجال المستهدف. علاوة على ذلك، نجد أن التدريب المستمر المستمر يمكن أن يؤدي إلى النسيان الكارثي في ​​النموذج المدرب مسبقا، وسيلة التعلم ذات النسيان الأقل يمكن تخفيف هذه المشكلة. علاوة على ذلك، توضح النتائج أن الفجوة الضخمة لا تزال موجودة بين إعدادات الموارد المنخفضة والموارد عالية، والتي تبرز الحاجة إلى طرق تكيف مجال أكثر تقدما لمهمة تلخيص التلخيص.

State-of-the-art abstractive summarization models generally rely on extensive labeled data, which lowers their generalization ability on domains where such data are not available. In this paper, we present a study of domain adaptation for the abstractive summarization task across six diverse target domains in a low-resource setting. Specifically, we investigate the second phase of pre-training on large-scale generative models under three different settings: 1) source domain pre-training; 2) domain-adaptive pre-training; and 3) task-adaptive pre-training. Experiments show that the effectiveness of pre-training is correlated with the similarity between the pre-training data and the target domain task. Moreover, we find that continuing pre-training could lead to the pre-trained model's catastrophic forgetting, and a learning method with less forgetting can alleviate this issue. Furthermore, results illustrate that a huge gap still exists between the low-resource and high-resource settings, which highlights the need for more advanced domain adaptation methods for the abstractive summarization task.