بدأت أنظمة التلخيص المبخر مسبقا مدربة مسبقا في تحقيق أداء موثوق، ولكن عائق رئيسي أمام استخدامها في الممارسة العملية هو ميلهم لإخراج الملخصات التي لا تؤيد المدخلات وتحتوي على أخطاء واقعية. في حين تم استكشاف عدد من مجموعات البيانات المشروحة والنماذج ال
إحصائية لتقييم التوظيف، إلا أنه لم يتم استكشاف صورة واضحة للأخطاء الأكثر أهمية لاستهداف أو عندما تنجح التقنيات الحالية والفشل. نستكشف كل من مصادر البيانات الاصطناعية والإنسانية ذات العلامات بين النماذج التدريبية لتحديد الأخطاء الواقعية في تلخيص، ودراسة الواقعية على مستوى الكلمة والاعتماد على مستوى الجملة. ملاحظاتنا هي ثلاثة أضعاف. أولا، تختلف الأخطاء الواقعية المعروضة بشكل كبير عبر مجموعات البيانات، والمجموعات التدريبية التي تستخدمها عادة من الأخطاء الاصطناعية البسيطة لا تعكس الأخطاء التي تم إجراؤها على مجموعات بيانات الجماعة مثل XSUM. ثانيا، توفر البيانات ذات العلامات البشرية ذات العلامات النووية ذات التوضيحية الدقيقة إشارة تدريب أكثر فعالية من التعليقات التوضيحية على مستوى الجملة أو البيانات الاصطناعية. أخيرا، نظير على أن أفضل نموذج الكشف عن الواقعين لدينا يتيح تدريب المزيد من نماذج تلخيص XSUM أكثر واقعية من خلال السماح لنا بتحديد الرموز المميزة غير الواقعية في بيانات التدريب.
