التحقيق في تأثير تفسيرات اللغة الطبيعية على التعميم الخارجي في NLI

على الرغم من أن النماذج العصبية قد أظهرت أداء قويا في مجموعات البيانات مثل SNLI، إلا أنها تفتقر إلى القدرة على التعميم خارج التوزيع (OOD).في هذا العمل، نقوم بصياغة عدد قليل من إعدادات التعلم ودراسة آثار تفسيرات اللغة الطبيعية على تعميم OOD.نحن نستفيد من القوالب في DataSet Hans وبناء تفسيرات لغة طبيعية TEMPLated لكل قالب.على الرغم من أن التفسيرات الناتجة تظهر درجات بلو تنافسية ضد تفسيرات الحقيقة الأرضية، إلا أنها تفشل في تحسين أداء التنبؤ.نوضح مزيد من التفسيرات التي تم إنشاؤها في كثير من الأحيان معلومات الهلوسة والأيس عن العناصر الرئيسية التي تشير إلى الملصق.

Although neural models have shown strong performance in datasets such as SNLI, they lack the ability to generalize out-of-distribution (OOD). In this work, we formulate a few-shot learning setup and examine the effects of natural language explanations on OOD generalization. We leverage the templates in the HANS dataset and construct templated natural language explanations for each template. Although generated explanations show competitive BLEU scores against ground truth explanations, they fail to improve prediction performance. We further show that generated explanations often hallucinate information and miss key elements that indicate the label.