هل يتفقد مفاجأة؟التقييم المستهدف للتنبؤ بالتماسك من نماذج اللغة

تتميز خطاب متماسك من مجرد مجموعة من الكلام من خلال إرضاء مجموعة متنوعة من القيود، على سبيل المثال اختيار التعبير والعلاقة المنطقية بين الأحداث المعلقة والتوافق الضمني مع المعرفة العالمية.هل ترمز نماذج اللغة العصبية هذه القيود؟نقوم بتصميم مجموعة قابلة للتمديد من أجنحة الاختبار التي تتناول جوانب مختلفة من الخطاب والتماسك الحوار.على عكس معظم دراسات تقييم التماسك السابق، فإننا نتعامل مع الأجهزة اللغوية المحددة وراء اضطرابات أمر الجملة، والتي تسمح بتحليل أكثر غرامة لما يشكل الاتساق وما هي النماذج العصبية المدربة على هدف نمذجة اللغة قادرة على الترميز.تمديد نموذج التقييم المستهدف لنماذج اللغة العصبية (مارفين ولينزن، 2018) إلى الظواهر بعد بناء الجملة، نظين على أن هذا النموذج مناسب بنفس القدر لتقييم الصفات اللغوية التي تسهم في مفهوم التماسك.

Coherent discourse is distinguished from a mere collection of utterances by the satisfaction of a diverse set of constraints, for example choice of expression, logical relation between denoted events, and implicit compatibility with world-knowledge. Do neural language models encode such constraints? We design an extendable set of test suites addressing different aspects of discourse and dialogue coherence. Unlike most previous coherence evaluation studies, we address specific linguistic devices beyond sentence order perturbations, which allow for a more fine-grained analysis of what constitutes coherence and what neural models trained on a language modelling objective are capable of encoding. Extending the targeted evaluation paradigm for neural language models (Marvin and Linzen, 2018) to phenomena beyond syntax, we show that this paradigm is equally suited to evaluate linguistic qualities that contribute to the notion of coherence.