تقييم جيل النص من هياكل تمثيل الخطاب

نقدم نهج عصبي نهاية إلى نهج لإنشاء جمل إنجليزية من تمثيلات المعنى الرسمي، وهياكل تمثيل الخطاب (DRSS).نستخدم نموذج تسلسل ثنائي التسلسل BI-LSTM القياسي بدلا من ذلك، والعمل بتمثيل إدخال DRS SNEARIZED، وتقييم رقائق الرقص على مستوى الأحرف ومستوى الكلمات.نحصل على نتائج مشجعة للغاية فيما يتعلق بالمقاييس التلقائية المستندة إلى المرجعية مثل بلو.ولكن نظرا لأن هذا المقاييس يقوم فقط بتقييم مستوى السطح من الإخراج الناتج، فإننا نطور متريا جديدا، وارتفعت، والتي تستهدف الظواهر الدلالية المحددة.نحن نقوم بذلك مع خمسة مجموعات تحدي جيل DRS التركيز على العدد القطبي والقطبية والكمييات المسماة.الهدف من مجموعات التحدي هذه هو تقييم تنظيمي المولد العصبي وتعميم المدخلات غير المرئية.

We present an end-to-end neural approach to generate English sentences from formal meaning representations, Discourse Representation Structures (DRSs). We use a rather standard bi-LSTM sequence-to-sequence model, work with a linearized DRS input representation, and evaluate character-level and word-level decoders. We obtain very encouraging results in terms of reference-based automatic metrics such as BLEU. But because such metrics only evaluate the surface level of generated output, we develop a new metric, ROSE, that targets specific semantic phenomena. We do this with five DRS generation challenge sets focusing on tense, grammatical number, polarity, named entities and quantities. The aim of these challenge sets is to assess the neural generator's systematicity and generalization to unseen inputs.