تقييم شامل لإحاطاء المهام الخاصة بالتلخيص

تنطبق أهداف الاحتجاط بالأذرية المهمة مثل طرازات اللغة الملثمين أو التنبؤ الفاسد التالف على مجموعة واسعة من مهام الخبراء النووي (Raffel et al.، 2019)، ولكنها تفوقت من خلال أهداف محددة خاصة بمهام المهام مثل التنبؤ بنشاطات الفجوة المستخرجة عن التلخيص (Zhangوآخرون، 2020).نحن نقارن ثلاثة أهداف محددة محددة محددة مع المهمة الملحة التالفة التنبؤات الاحتمية في الدراسة التي تسيطر عليها.كما نقدم دراستنا إلى إعداد موارد منخفضة وضبط صفر، لفهم عدد أمثلة التدريب اللازمة من أجل إظهار الاحتجاج بخصوص الجودة دون فقدان الجودة.نظرا لأن نتائجنا تظهر أن الاحتجاج غير المرغوي المهمة يكفي لمعظم الحالات التي نأمل أن تقلل من الحاجة إلى الاحتجاج بمهمة المحاكمة الخاصة بالمهارات.نبلغ أيضا عن رقم أحدث جديد لمهمة التلخيص باستخدام نموذج T5 مع 11 مليار معلمة وعقوبة طول البحث الأمثل.

Task-agnostic pretraining objectives like masked language models or corrupted span prediction are applicable to a wide range of NLP downstream tasks (Raffel et al.,2019), but are outperformed by task-specific pretraining objectives like predicting extracted gap sentences on summarization (Zhang et al.,2020). We compare three summarization specific pretraining objectives with the task agnostic corrupted span prediction pretraining in controlled study. We also extend our study to a low resource and zero shot setup, to understand how many training examples are needed in order to ablate the task-specific pretraining without quality loss. Our results show that task-agnostic pretraining is sufficient for most cases which hopefully reduces the need for costly task-specific pretraining. We also report new state-of-the-art number for two summarization task using a T5 model with 11 billion parameters and an optimal beam search length penalty.