اختلافات المجال: مسح وتحليل تجريبي

يلعب اختلاف المجال دورا مهما في تقدير أداء نموذج في مجالات جديدة. في حين أن هناك أدب كبيرا على تدابير الاختلاف، يجد الباحثون صعوبة في اختيار الاختلاف المناسب لتطبيق NLP معين. نحن نتطلع إلى هذا القصور من قبل كل من المسح الأدبيات ومن خلال دراسة تجريبية. نحن نطور تصنيفا من تدابير الاختلاف التي تتكون من ثلاث فصول --- إجراءات نظرية ونشرية هندسية وترتيب أعلى وتحديد العلاقات بينهما. علاوة على ذلك، لفهم حالات الاستخدام المشترك لهذه التدابير، نحن ندرك ثلاث تطبيقات جديدة - 1) اختيار البيانات، 2) تمثيل التعلم، و 3) القرارات في البرية - واستخدامها لتنظيم أدبنا. من هذا، نحدد أن التدابير النظريية للمعلومات منتشرة لمدة 1) و 3)، وتدابير ذات ترتيب أعلى أكثر شيوعا لمدة 2). لمزيد من المساعدة في مساعدة الباحثين في اختيار التدابير المناسبة للتنبؤ بالانخفاض في الأداء - وهو جانب مهم في القرارات في البرية، نقوم بإجراء تحليل العلاقة الممتدة 130 سيناريوهات تكيف المجال، و 3 مهام NLP متنوعة و 12 تدابير مختلفة تم تحديدها من مسحنا. لحساب هذه الاختلافات، نعتبر تمثيلات الكلمات السياقية الحالية (CWR) والتباين من التمثيلات الموزعة الأكبر سنا. نجد أن التدابير التقليدية على توزيعات الكلمات لا تزال تعمل كأساس قواعد قوية، في حين أن تدابير ذات طلب أعلى مع CWR فعالة.

Domain divergence plays a significant role in estimating the performance of a model in new domains. While there is a significant literature on divergence measures, researchers find it hard to choose an appropriate divergence for a given NLP application. We address this shortcoming by both surveying the literature and through an empirical study. We develop a taxonomy of divergence measures consisting of three classes --- Information-theoretic, Geometric, and Higher-order measures and identify the relationships between them. Further, to understand the common use-cases of these measures, we recognise three novel applications -- 1) Data Selection, 2) Learning Representation, and 3) Decisions in the Wild -- and use it to organise our literature. From this, we identify that Information-theoretic measures are prevalent for 1) and 3), and Higher-order measures are more common for 2). To further help researchers choose appropriate measures to predict drop in performance -- an important aspect of Decisions in the Wild, we perform correlation analysis spanning 130 domain adaptation scenarios, 3 varied NLP tasks and 12 divergence measures identified from our survey. To calculate these divergences, we consider the current contextual word representations (CWR) and contrast with the older distributed representations. We find that traditional measures over word distributions still serve as strong baselines, while higher-order measures with CWR are effective.