Data-Questeval: متري المراجع لاين للتقييم الدلالي البيانات إلى النص

QuestEval هو مقياس مرجع أقل استخداما في مهام النص إلى النص، مما يقارن الملخصات التي تم إنشاؤها مباشرة إلى النص المصدر، من خلال طرح الأسئلة والرد عليها تلقائيا.إن التكيف مع مهام البيانات إلى النص ليس واضحا، لأنه يتطلب جيل سؤال متعدد الوسائط وأنظمة الرد على المهام المدروسة، والتي نادرا ما تكون متاحة.لهذا الغرض، نقترح طريقة لبناء كورسيا متعددة الوسائط الاصطناعية تمكين لتدريب مكونات متعددة الوسائط لمكيانية بيانات Questeval.المقياس الناتج هو المرجع أقل و multimodal؛يحصل على ارتباطات حديثة مع حكم بشري على معايير Webnlg ويكيبيو.نجعل رمز ونماذج بيانات Questeval للبيانات المتاحة لغرض الاستيلاء، كجزء من مشروع Questeval.

QuestEval is a reference-less metric used in text-to-text tasks, that compares the generated summaries directly to the source text, by automatically asking and answering questions. Its adaptation to Data-to-Text tasks is not straightforward, as it requires multimodal Question Generation and Answering systems on the considered tasks, which are seldom available. To this purpose, we propose a method to build synthetic multimodal corpora enabling to train multimodal components for a data-QuestEval metric. The resulting metric is reference-less and multimodal; it obtains state-of-the-art correlations with human judgment on the WebNLG and WikiBio benchmarks. We make data-QuestEval's code and models available for reproducibility purpose, as part of the QuestEval project.