التقييم القائم على تحليل الإرشاد من الجيل AMR-To-English

مقاييس التقييم التلقائية المستندة إلى المرجعية محدودة بشكل ملحوظ ل NLG بسبب عدم قدرتها على التقاط مجموعة كاملة من النواتج المحتملة.نحن ندرس بديلا للإشارة: تقييم كفاية الرسوم البيانية من جمل اللغة الإنجليزية التي تم إنشاؤها من الرسوم البيانية التمثيل المعنى التجريدي (AMR) عن طريق التحليل في عمرو ومقارنة التحليل مباشرة إلى المدخلات.نجد أن الأخطاء التي أدخلتها تحليل عمرو التلقائي تقيص بشكل كبير من فعالية هذا النهج، ولكن دراسة تحرير يدوية تشير إلى أنه نظرا لأن التحليل يحسن، فإن التقييم القائم على التحلل يحتوي على إمكانية تفوق معظم المقاييس المرجعية.

Reference-based automatic evaluation metrics are notoriously limited for NLG due to their inability to fully capture the range of possible outputs. We examine a referenceless alternative: evaluating the adequacy of English sentences generated from Abstract Meaning Representation (AMR) graphs by parsing into AMR and comparing the parse directly to the input. We find that the errors introduced by automatic AMR parsing substantially limit the effectiveness of this approach, but a manual editing study indicates that as parsing improves, parsing-based evaluation has the potential to outperform most reference-based metrics.