Semeval-2021 المهمة 4: قراءة الفهم من معنى مجردة

تقدم هذه الورقة المهمة المشتركة Semeval-2021 4: قراءة الفهم من معنى مجردة (Recam). تم تصميم هذه المهمة المشتركة للمساعدة في تقييم قدرة الآلات في تمثيل وفهم مفهوم مجردة. يتعين على النظام المقابل، من المتوقع أن يختار نظام المشاركة، الإجابة الصحيحة من خمسة مرشحين من المفاهيم المجردة في الفهم مهام. بناء على اثنين من التعريفات النموذجية للمخراج، أي غير محسنة وغير محددة، توفر مهمتنا ثلاثة مجموعات فرعية لتقييم قدرة النماذج في فهم النوعين من المعنى التجريدي وتعميم النماذج. على وجه التحديد، يهدف فرقة فرعية 1 إلى تقييم مفاهيم نماذج النظام المشاركة التي لا يمكن أن ينظر إليها مباشرة في العالم المادي. يركز SubTask 2 على قدرة النماذج في فهم مفاهيم غير محددة تقع عالية في التسلسل الهرمي Hypernym نظرا لسياق مرور. يهدف SubTask 3 إلى توفير بعض الأفكار حول تعميم النماذج على النوعين من الممرضين. خلال فترة التقييم الرسمية SEMEVAL-2021، تلقينا 23 تقريرا إلى الفرعية 1 و 28 إلى الفريق الفرعي 2. قدمت الفرق المشاركة بالإضافة إلى ذلك 29 تقريرا إلى الفرع الفرعي 3. يمكن العثور على موقع المتصدرين ومواقع المنافسة في HTTPS: //competitions.codalab. ORG / المسابقات / 26153. تتوفر بيانات البيانات وخطوط الأساس في https://github.com/boyuanzheng010/semeval2021-Reading-comprehension-of-Abstract-meaning.

This paper introduces the SemEval-2021 shared task 4: Reading Comprehension of Abstract Meaning (ReCAM). This shared task is designed to help evaluate the ability of machines in representing and understanding abstract concepts.Given a passage and the corresponding question, a participating system is expected to choose the correct answer from five candidates of abstract concepts in cloze-style machine reading comprehension tasks. Based on two typical definitions of abstractness, i.e., the imperceptibility and nonspecificity, our task provides three subtasks to evaluate models' ability in comprehending the two types of abstract meaning and the models' generalizability. Specifically, Subtask 1 aims to evaluate how well a participating system models concepts that cannot be directly perceived in the physical world. Subtask 2 focuses on models' ability in comprehending nonspecific concepts located high in a hypernym hierarchy given the context of a passage. Subtask 3 aims to provide some insights into models' generalizability over the two types of abstractness. During the SemEval-2021 official evaluation period, we received 23 submissions to Subtask 1 and 28 to Subtask 2. The participating teams additionally made 29 submissions to Subtask 3. The leaderboard and competition website can be found at https://competitions.codalab.org/competitions/26153. The data and baseline code are available at https://github.com/boyuanzheng010/SemEval2021-Reading-Comprehension-of-Abstract-Meaning.