تقديم نويج DSI إلى المعيار GEM 2021

تصف هذه الورقة التقديم من قبل Nuig-DSI إلى Benchmark GEM 2021. نشارك في المهمة المشتركة النمذجة حيث نقدم مخرجات على أربع مجموعات بيانات للجيل إلى النص، وهي DART، WEBNLG (EN)، E2E و COMMINGEN.نتبع النهج الذي يشبه الواحدة الموصوفة في الورق القياسي GEM حيث نستخدم النموذج T5-Base المدرب مسبقا لتقديمنا.نحن ندرب هذا النموذج على بيانات أحادية الذهاب إضافية حيث نقوم بتجربة استراتيجيات اخفاء مختلفة تركز على وجه التحديد على كيانات إخفاء، وتندب المفاهيم وكذلك استراتيجية إخفاء عشوائية للتدريب المسبق.في نتائجنا، نجد أن الاخفاء العشوائي يؤدي الأفضل من حيث مقاييس التقييم التلقائي، على الرغم من أن النتائج ليست مختلفة بشكل كبير مقارنة باستراتيجيات اخفاء أخرى.

This paper describes the submission by NUIG-DSI to the GEM benchmark 2021. We participate in the modeling shared task where we submit outputs on four datasets for data-to-text generation, namely, DART, WebNLG (en), E2E and CommonGen. We follow an approach similar to the one described in the GEM benchmark paper where we use the pre-trained T5-base model for our submission. We train this model on additional monolingual data where we experiment with different masking strategies specifically focused on masking entities, predicates and concepts as well as a random masking strategy for pre-training. In our results we find that random masking performs the best in terms of automatic evaluation metrics, though the results are not statistically significantly different compared to other masking strategies.