لقد شهد التقدم الأخير في فهم اللغة الطبيعية (NLU) أحدث النماذج تفوق الأداء البشري على العديد من المهام القياسية. قادت هذه النتائج المثيرة للإعجاب المجتمع إلى التقاطية بشأن قيود البيانات، وتكرر التحديات الأكثر دقة. في هذه الورقة، نقدم مهمة تجميع العنو
ان الرئيسي (HLG) ومجموعة بيانات مقابلة (HLGD) تتكون من 20،056 أزواج من عناوين الأخبار، والتي تم تسمية كل منها بحكم ثنائي فيما إذا كان الزوج ينتمي إلى نفس المجموعة. على HLGD، يحقق المعلقون البشري الأداء العالي حوالي 0.9 F-1، في حين تصل نماذج المحولات الحالية من المحولات الحالية إلى 0.75 F-1، وفتح المسار لمزيد من التحسينات. نقترحنا كذلك نموذج مبادلة عناوين رئيسية رواية غير مدهشة لمهمة تجميع العنوان الرئيسي الذي يحقق في غضون 3 F-1 من أفضل النموذج الإشرافي. أخيرا، نقوم بتحليل نماذج عالية الأداء مع اختبارات الاتساق، وتجد أن النماذج ليست متسقة في تنبؤاتها، وكشف عن حدود النمذجة من الهندسة الحالية.
