عدم الإبلاغ عن الأخطاء في إخراج NLG، وماذا تفعل حيال ذلك

نحن نلاحظ قصر الإبلاغ الشديد من أنواع مختلفة من الأخطاء التي تصنعها أنظمة توليد اللغة الطبيعية.هذه مشكلة، لأن الأخطاء هي مؤشر مهم على حيث يجب تحسين الأنظمة.إذا أبلغ المؤلفون فقط إبلاغ مقاييس الأداء الإجمالية، فقد ترك مجتمع البحث في الظلام حول نقاط الضعف المحددة التي تعرضها أبحاث أحدث ".بجانب تحديد مدى اختلال الأخطاء، توفر ورقة الموضع هذه توصيات لتحديد الأخطاء والتحليل والإبلاغ.

We observe a severe under-reporting of the different kinds of errors that Natural Language Generation systems make. This is a problem, because mistakes are an important indicator of where systems should still be improved. If authors only report overall performance metrics, the research community is left in the dark about the specific weaknesses that are exhibited by state-of-the-art' research. Next to quantifying the extent of error under-reporting, this position paper provides recommendations for error identification, analysis and reporting.