توليد الهيكل إلى النص مع التدريب الذاتي، والتصوير القابل للقبول وتكييف السياق للمهمة المشتركة GEM

نستكشف استخدام مصنفات التدريب الذاتي والقبول مع النماذج المدربة مسبقا لتوليد اللغة الطبيعية في إعدادات هيكل إلى نص باستخدام ثلاث مجموعات بيانات GEM (E2E و WebNLG-EN و Schema-furdided).مع Dataset الحوار الموجهة للمخطط، نقوم أيضا بتجربة بما في ذلك المنعطفات المتعددة من السياق في المدخلات.نجد أن التدريب الذاتي مع مطابقة إعادة الإعمار مع تصفية مصنف القبول يمكن أن يحسن صحة دلالية، على الرغم من أن المكاسب محدودة في إعداد البيانات الكاملة.مع تكييف السياق، نجد أن بما في ذلك المنعطفات المتعددة في السياق يشجع النموذج على المحاذاة مع اختيارات كلمة المستخدم وصياغة وكذلك لتوليد المزيد من ردود متسقة ذاتية.في الإصدارات المستقبلية من تحدي GEM، نشجع إدراج مسارات قليلة لتشجيع البحث على كفاءة البيانات.

We explore the use of self-training and acceptability classifiers with pre-trained models for natural language generation in structure-to-text settings using three GEM datasets (E2E, WebNLG-en, Schema-Guided Dialog). With the Schema-Guided Dialog dataset, we also experiment with including multiple turns of context in the input. We find that self-training with reconstruction matching along with acceptability classifier filtering can improve semantic correctness, though gains are limited in the full-data setting. With context-conditioning, we find that including multiple turns in the context encourages the model to align with the user's word and phrasing choices as well as to generate more self-consistent responses. In future versions of the GEM challenge, we encourage the inclusion of few-shot tracks to encourage research on data efficiency.