الحس السليم هو جزء لا يتجزأ من الإدراك البشري الذي يسمح لنا بإجراء قرارات سليمة، والتواصل بفعالية مع الآخرين وتفسير المواقف والكلام. قد تساعدنا أنظمة AI مع إمكانيات المعرفة المنطقية على الاقتراب من إنشاء أنظمة تعرض ذكاء بشري. ركزت الجهود الأخيرة في توليد اللغة الطبيعية (NLG) على دمج معرفة المنظمات من خلال نماذج لغوية مدربة مسبقا واسعة النطاق أو بإدماج قواعد المعرفة الخارجية. تعرض هذه الأنظمة إمكانيات التفكير دون الشعور بالشمول المشفرة بشكل صريح في مجموعة التدريب. تتطلب هذه الأنظمة تقييم دقيق، حيث تقوم بدمج موارد إضافية أثناء التدريب التي تضيف مصادر إضافية للأخطاء. بالإضافة إلى ذلك، يمكن أن يكون للتقييم البشري لمثل هذه الأنظمة اختلافا كبيرا، مما يجعل من المستحيل مقارنة الأنظمة المختلفة وتحديد الأساس. تهدف هذه الورقة إلى إزالة الغموض عن التقييمات الإنسانية لأنظمة NLG المعززة بالعموم من خلال اقتراح بطاقة تقييم العمولة (CEC)، وهي مجموعة من توصيات تقارير التقييم لأنظمة NLG المعززة بالعموم، التي أجرتها تحليل شامل للتقييمات البشرية المبلغ عنها في الأدب الأخير وبعد
Common sense is an integral part of human cognition which allows us to make sound decisions, communicate effectively with others and interpret situations and utterances. Endowing AI systems with commonsense knowledge capabilities will help us get closer to creating systems that exhibit human intelligence. Recent efforts in Natural Language Generation (NLG) have focused on incorporating commonsense knowledge through large-scale pre-trained language models or by incorporating external knowledge bases. Such systems exhibit reasoning capabilities without common sense being explicitly encoded in the training set. These systems require careful evaluation, as they incorporate additional resources during training which adds additional sources of errors. Additionally, human evaluation of such systems can have significant variation, making it impossible to compare different systems and define baselines. This paper aims to demystify human evaluations of commonsense-enhanced NLG systems by proposing the Commonsense Evaluation Card (CEC), a set of recommendations for evaluation reporting of commonsense-enhanced NLG systems, underpinned by an extensive analysis of human evaluations reported in the recent literature.
References used
https://aclanthology.org/
The NLP field has recently seen a substantial increase in work related to reproducibility of results, and more generally in recognition of the importance of having shared definitions and practices relating to evaluation. Much of the work on reproduci
Sarcasm detection is important for several NLP tasks such as sentiment identification in product reviews, user feedback, and online forums. It is a challenging task requiring a deep understanding of language, context, and world knowledge. In this pap
Large scale pretrained models have demonstrated strong performances on several natural language generation and understanding benchmarks. However, introducing commonsense into them to generate more realistic text remains a challenge. Inspired from pre
Codifying commonsense knowledge in machines is a longstanding goal of artificial intelligence. Recently, much progress toward this goal has been made with automatic knowledge base (KB) construction techniques. However, such techniques focus primarily
Warning: this paper contains content that may be offensive or upsetting. Commonsense knowledge bases (CSKB) are increasingly used for various natural language processing tasks. Since CSKBs are mostly human-generated and may reflect societal biases, i