تقييم النمذجة التماسك المستند

الملخص بينما طردت نماذج اللغة المحددة (LMS) مكاسب مثيرة للإعجاب على المهام المورفو والدلية، وقدرتها على نموذج الخطاب والظواهر البراغماتية أقل وضوحا.كخطوة نحو فهم أفضل لقدرات النمذجة خطابها، نقترح مهمة كشف التسلل.ندرس أداء مجموعة واسعة من LMS المحدد مسبقا على مهمة الكشف هذه للغة الإنجليزية.تفتقر إلى مجموعة بيانات للمهمة، ونحن نقدم DataSet Inteded Inteded، وهي عبارة عن بيانات الكشف عن عقوبة الدخيل الرواية، والتي تحتوي على 170،000+ مستندات مصنوعة من مقالات أخبار Wikipedia و CNN الإنجليزية.تظهر تجاربنا أن LMS المسبدة مسبقا تؤدي بشكل مثير للإعجاب في التقييم داخل المجال، بل تواجه انخفاضا كبيرا في إعداد المجال المتبادل، مما يشير إلى قدرة تعميم محدودة.نتائج أخرى على مجموعة بيانات مسبار لغوية جديدة تظهر أن هناك مجالا كبيرا للتحسين، خاصة في إعداد المجال المتقاطع.

Abstract While pretrained language models (LMs) have driven impressive gains over morpho-syntactic and semantic tasks, their ability to model discourse and pragmatic phenomena is less clear. As a step towards a better understanding of their discourse modeling capabilities, we propose a sentence intrusion detection task. We examine the performance of a broad range of pretrained LMs on this detection task for English. Lacking a dataset for the task, we introduce INSteD, a novel intruder sentence detection dataset, containing 170,000+ documents constructed from English Wikipedia and CNN news articles. Our experiments show that pretrained LMs perform impressively in in-domain evaluation, but experience a substantial drop in the cross-domain setting, indicating limited generalization capacity. Further results over a novel linguistic probe dataset show that there is substantial room for improvement, especially in the cross- domain setting.