تعلم تعلم أن يكون صحيحا للأسباب الصحيحة

يعد تحسين تعميم النموذج حول البيانات المحتفظ بها أحد الأهداف الأساسية في التفكير المعني بالمعنى. لقد أظهر العمل الحديث أن النماذج المدربة على مجموعة البيانات مع الإشارات السطحية تميل إلى أداء جيد في الاختبار السهل مع الإشارات السطحية ولكنها تؤدي بشكل سيء على مجموعة الاختبار الثابت دون إشارات سطحية. لجأت النهج السابقة إلى الأساليب اليدوية لتشجيع النماذج غير المبالفة للعظة السطحية. في حين أن بعض الأساليب قد تحسن الأداء على الحالات الصعبة، فإنها تؤدي أيضا إلى أدائها المتدهورة بشأن التعرضات السهلة. هنا، نقترح أن تتعلم صراحة نموذجا جيدا على كل من مجموعة الاختبار السهلة مع الإشارات السطحية ومجموعة الاختبار الثابت دون إشارات سطحية. باستخدام هدف التعلم التلوي، نتعلم مثل هذا النموذج الذي يحسن الأداء على كل من مجموعة الاختبار السهلة ومجموعة الاختبار الثابت. من خلال تقييم نماذجنا عند اختيار البدائل المعقولة (COPA) وشرح المنطقي، نوضح أن أسلوبنا المقترح يؤدي إلى تحسين الأداء على كل من مجموعة الاختبارات السهلة ومجموعة الاختبار الصعب الذي نلاحظ عليه ما يصل إلى 16.5 نقطة مئوية من التحسن على أساس الأساس وبعد

Improving model generalization on held-out data is one of the core objectives in common- sense reasoning. Recent work has shown that models trained on the dataset with superficial cues tend to perform well on the easy test set with superficial cues but perform poorly on the hard test set without superficial cues. Previous approaches have resorted to manual methods of encouraging models not to overfit to superficial cues. While some of the methods have improved performance on hard instances, they also lead to degraded performance on easy in- stances. Here, we propose to explicitly learn a model that does well on both the easy test set with superficial cues and the hard test set without superficial cues. Using a meta-learning objective, we learn such a model that improves performance on both the easy test set and the hard test set. By evaluating our models on Choice of Plausible Alternatives (COPA) and Commonsense Explanation, we show that our proposed method leads to improved performance on both the easy test set and the hard test set upon which we observe up to 16.5 percentage points improvement over the baseline.