لقد شهد التقدم الأخير في فهم اللغة الطبيعية (NLU) أحدث النماذج تفوق الأداء البشري على العديد من المهام القياسية. قادت هذه النتائج المثيرة للإعجاب المجتمع إلى التقاطية بشأن قيود البيانات، وتكرر التحديات الأكثر دقة. في هذه الورقة، نقدم مهمة تجميع العنو
ان الرئيسي (HLG) ومجموعة بيانات مقابلة (HLGD) تتكون من 20،056 أزواج من عناوين الأخبار، والتي تم تسمية كل منها بحكم ثنائي فيما إذا كان الزوج ينتمي إلى نفس المجموعة. على HLGD، يحقق المعلقون البشري الأداء العالي حوالي 0.9 F-1، في حين تصل نماذج المحولات الحالية من المحولات الحالية إلى 0.75 F-1، وفتح المسار لمزيد من التحسينات. نقترحنا كذلك نموذج مبادلة عناوين رئيسية رواية غير مدهشة لمهمة تجميع العنوان الرئيسي الذي يحقق في غضون 3 F-1 من أفضل النموذج الإشرافي. أخيرا، نقوم بتحليل نماذج عالية الأداء مع اختبارات الاتساق، وتجد أن النماذج ليست متسقة في تنبؤاتها، وكشف عن حدود النمذجة من الهندسة الحالية.
نأخذ الخطوة الأولى نحو نقل النمط متعدد اللغات عن طريق إنشاء وإطلاق Xformal، وهو معيار من إعادة شحن رسمي متعدد النص غير الرسمي في البرتغالية البرازيلية والفرنسية والإيطالية.تشير النتائج على XFormal إلى أن نهج نقل النمط للحديث أداء قريبة من خطوط الأساس
البسيطة، مما يشير إلى أن نقل النمط هو أكثر تحديا عند التحرك متعدد اللغات.
