هل تناول القط القهوة؟المحولات الصعبة مع معرفة الحدث المعمم

استكشف البحث المسبق قدرة النماذج الحسابية للتنبؤ بكلمة ملائمة للكلمة مع مسند معين. في حين تم تخصيص الكثير من العمل لنمذجة العلاقة النموذجية بين الأفعال والحجج بمعزل، في هذه الورقة، نأخذ منظور أوسع من خلال تقييم ما إذا كانت النهج الحسابية أو إلى أي مدى يمكن للمناهج الحسابية الوصول إلى المعلومات حول نموذجي الأحداث والمواقف بالكامل الموصوفة اللغة (معرفة الحدث المعمم). بالنظر إلى النجاح الأخير لنماذج لغة المحولات (TLMS)، قررنا اختبارها على معيار لتقدير ديناميكي للملاءمة المواضيعية. تم إجراء تقييم هذه النماذج مقارنة مع SDM، وهو إطار مصمم خصيصا لإدماج الأحداث في الجملة التي تعني التمثيلات، وجرينا تحليل خطأ مفصل للتحقيق في العوامل التي تؤثر على سلوكهم. تظهر نتائجنا أن TLMS يمكن أن تصل إلى العروض المقارنة لأولئك الذين حققتهم SDM. ومع ذلك، يقترح تحليل إضافي باستمرار أن TLMS لا تلتقط جوانب مهمة من المعرفة الحدث، وغالبا ما تعتمد تنبؤاتها على الميزات اللغوية السطحية، مثل الكلمات المتكررة والترحيل والأنماط الأساسية، مما يظهر قدرات التعميم دون المستوى الأمثل.

Prior research has explored the ability of computational models to predict a word semantic fit with a given predicate. While much work has been devoted to modeling the typicality relation between verbs and arguments in isolation, in this paper we take a broader perspective by assessing whether and to what extent computational approaches have access to the information about the typicality of entire events and situations described in language (Generalized Event Knowledge). Given the recent success of Transformers Language Models (TLMs), we decided to test them on a benchmark for the dynamic estimation of thematic fit. The evaluation of these models was performed in comparison with SDM, a framework specifically designed to integrate events in sentence meaning representations, and we conducted a detailed error analysis to investigate which factors affect their behavior. Our results show that TLMs can reach performances that are comparable to those achieved by SDM. However, additional analysis consistently suggests that TLMs do not capture important aspects of event knowledge, and their predictions often depend on surface linguistic features, such as frequent words, collocations and syntactic patterns, thereby showing sub-optimal generalization abilities.