غالبا ما يستخدم البشر استخدام اللغة التصويرية في التواصل، بما في ذلك أثناء التفاعلات مع أنظمة الحوار. وبالتالي، من المهم أن تكون أنظمة الحوار في العالم الحقيقي لتتمكن من التعامل مع اللغة التصويرية الشعبية تشبه الاستعارة والاشتراك. في هذا العمل، نقوم بتحليل أداء نماذج الحوار الموجودة في المواقف التي يعرضها سياق مربع حوار المدخلات استخدام اللغة التصويرية. نلاحظ فجوات كبيرة في التعامل مع اللغة التصويرية عند تقييم النماذج في مجموعات بيانات حوار المجال المفتوحة. عند مواجهة سياقات الحوار تتكون من لغة مجازية، تظهر بعض النماذج قطرات كبيرة جدا في الأداء مقارنة بالسياقات دون لغة مجازية. نحن نشجع البحث في المستقبل في نمذجة الحوار إلى التحليل بشكل منفصل وتقرير النتائج على اللغة المجازية من أجل تحسين قدرات النماذج بشكل أفضل من استخدام العالم الحقيقي. أخيرا، نقترح حلول خفيفة الوزن لمساعدة النماذج الحالية على أن تصبح النماذج الحالية أكثر قوة في اللغة التصويرية ببساطة عن طريق استخدام مورد خارجي لترجمة اللغة التصويرية إلى النماذج الحرفية (غير المجازة) مع الحفاظ على معنى أكبر قدر ممكن من الأصفار.
Humans often employ figurative language use in communication, including during interactions with dialog systems. Thus, it is important for real-world dialog systems to be able to handle popular figurative language constructs like metaphor and simile. In this work, we analyze the performance of existing dialog models in situations where the input dialog context exhibits use of figurative language. We observe large gaps in handling of figurative language when evaluating the models on two open domain dialog datasets. When faced with dialog contexts consisting of figurative language, some models show very large drops in performance compared to contexts without figurative language. We encourage future research in dialog modeling to separately analyze and report results on figurative language in order to better test model capabilities relevant to real-world use. Finally, we propose lightweight solutions to help existing models become more robust to figurative language by simply using an external resource to translate figurative language to literal (non-figurative) forms while preserving the meaning to the best extent possible.
References used
https://aclanthology.org/
High-performance neural language models have obtained state-of-the-art results on a wide range of Natural Language Processing (NLP) tasks. However, results for common benchmark datasets often do not reflect model reliability and robustness when appli
Pre-trained LMs have shown impressive performance on downstream NLP tasks, but we have yet to establish a clear understanding of their sophistication when it comes to processing, retaining, and applying information presented in their input. In this p
Existing work on probing of pretrained language models (LMs) has predominantly focused on sentence-level syntactic tasks. In this paper, we introduce document-level discourse probing to evaluate the ability of pretrained LMs to capture document-level
Transformers-based pretrained language models achieve outstanding results in many well-known NLU benchmarks. However, while pretraining methods are very convenient, they are expensive in terms of time and resources. This calls for a study of the impa
Pretrained language models (PTLMs) yield state-of-the-art performance on many natural language processing tasks, including syntax, semantics and commonsense. In this paper, we focus on identifying to what extent do PTLMs capture semantic attributes a