التعلم العدواني المتعارض مع الاستيفاء التمثيل

تظهر نماذج التعلم العميق تفضيلات للتركيب الإحصائي بشأن التفكير المنطقي.قد يتم حفظ الارتباطات الزائفة عند وجود تحيز إحصائي في بيانات التدريب، مما يحد بشدة من أداء النموذج بشكل خاص في سيناريوهات البيانات الصغيرة.في هذا العمل، نقدم إطار تدريب عدائي مضاد للأرض (القط) لمعالجة المشكلة من منظور السببية.خاصة، بالنسبة لعينة محددة، تنشئ القط أولا تمثيل مضاد من خلال الاستيفاء الفضائي الكامن بطريقة مخفية، ثم يؤدي ذلك إلى تقليل المخاطر المضادة (CRM) على كل زوج مضاد للأصلية لضبط وزن الخسارة العينة بشكل حيوي، مما يشجع النموذجلاستكشاف التأثير السببي الحقيقي.توضح تجارب واسعة أن القط يحقق تحسين أداء كبير على سوتا عبر المهام المختلفة المصب، بما في ذلك تصنيف الجملة، والاستدلال باللغة الطبيعية والرد على السؤال.

Deep learning models exhibit a preference for statistical fitting over logical reasoning. Spurious correlations might be memorized when there exists statistical bias in training data, which severely limits the model performance especially in small data scenarios. In this work, we introduce Counterfactual Adversarial Training framework (CAT) to tackle the problem from a causality perspective. Particularly, for a specific sample, CAT first generates a counterfactual representation through latent space interpolation in an adversarial manner, and then performs Counterfactual Risk Minimization (CRM) on each original-counterfactual pair to adjust sample-wise loss weight dynamically, which encourages the model to explore the true causal effect. Extensive experiments demonstrate that CAT achieves substantial performance improvement over SOTA across different downstream tasks, including sentence classification, natural language inference and question answering.