كيف تعزز نماذج تأثير البيانات المعزز بشكل مضاد لبناء الحوسبة الاجتماعية؟

نظرا لأن نماذج NLP منتشرة بشكل متزايد في إعدادات موقع اجتماعي مثل الكشف عن المحتوى المسيء عبر الإنترنت، فمن الضروري التأكد من أن هذه النماذج قوية. تتمثل إحدى طرق تحسين متواضع النموذج في إنشاء بيانات معدية مضادة للعمل (CAD) لنماذج التدريب التي يمكن أن تتعلم بشكل أفضل التمييز بين الميزات الأساسية وتذكير البيانات. في حين أن النماذج المدربة على هذا النوع من البيانات قد أظهرت تعميم تعميمات خارج نطاق، فلا تزال غير واضحة ما هي مصادر هذه التحسينات. نحقق في فوائد CAD لنماذج NLP الاجتماعية من خلال التركيز على ثلاثة بنيات الحوسبة الاجتماعية --- الشعور والجوعي، خطاب الكراهية. تقييم أداء النماذج المدربة مع وبدون CAD عبر أنواع مختلفة من مجموعات البيانات، نجد أنه أثناء قيام النماذج المدربة على CAD بإظهار الأداء السفلي داخل المجال، فإنهم يعممون أفضل من المجال. نحن نفث هذا التناقض الواضح باستخدام تفسيرات الجهاز والعثور على أن CAD يقلل من الاعتماد على النموذج على ميزات زائفة. الاستفادة من نطق رواية من CAD لتحليل علاقتهم بأداء نموذجي، نجد أن CAD الذي يعمل على البناء مباشرة أو مجموعة متنوعة من CAD يؤدي إلى أداء أعلى.

As NLP models are increasingly deployed in socially situated settings such as online abusive content detection, it is crucial to ensure that these models are robust. One way of improving model robustness is to generate counterfactually augmented data (CAD) for training models that can better learn to distinguish between core features and data artifacts. While models trained on this type of data have shown promising out-of-domain generalizability, it is still unclear what the sources of such improvements are. We investigate the benefits of CAD for social NLP models by focusing on three social computing constructs --- sentiment, sexism, and hate speech. Assessing the performance of models trained with and without CAD across different types of datasets, we find that while models trained on CAD show lower in-domain performance, they generalize better out-of-domain. We unpack this apparent discrepancy using machine explanations and find that CAD reduces model reliance on spurious features. Leveraging a novel typology of CAD to analyze their relationship with model performance, we find that CAD which acts on the construct directly or a diverse set of CAD leads to higher performance.