مهمة مشتركة في تقييم الدقة: الاستفادة من التوضيحات السابقة في عملية التحقق من الصحة

نقدم هذا بموجبه تقديمنا إلى المهمة المشتركة في تقييم الدقة في مؤتمر INLG 2021.يعتمد بروتوكول التقييم لدينا على ثلاثة مكونات رئيسية؛القواعد والصفوف النصية المصنفة التي تعلق مسبقا على مجموعة البيانات، وهو عبقري بشري يتحقق من التوضيح المسبق، وواجهة الويب التي تسهل هذا التحقق من الصحة.يتكون التقديم لدينا في حقيقة وجود تقريرين؛نحلل أولا فقط أداء القواعد والصفوفات المصنفة (الشرحين قبل التوضيحية)، ثم التقييم البشري يساعده الشروح السابقة السابقة باستخدام واجهة الويب (الهجين).رمز واجهة الويب والصفوف هو متاح علنا.

We hereby present our submission to the Shared Task in Evaluating Accuracy at the INLG 2021 Conference. Our evaluation protocol relies on three main components; rules and text classifiers that pre-annotate the dataset, a human annotator that validates the pre-annotations, and a web interface that facilitates this validation. Our submission consists in fact of two submissions; we first analyze solely the performance of the rules and classifiers (pre-annotations), and then the human evaluation aided by the former pre-annotations using the web interface (hybrid). The code for the web interface and the classifiers is publicly available.