نحو استخراج العلاقة بين القليل من الرصاص

في السنوات الأخيرة، تم تطبيق نماذج قليلة بالرصاص بنجاح في مجموعة متنوعة من مهام NLP.هان وآخرون.(2018) أدخل إطارا متعدد الطلقات التعلم لتصنيف العلاقة، ومنذ ذلك الحين، تجاوزت عدة نماذج الأداء البشري في هذه المهمة، مما يؤدي إلى الانطباع بأن التصنيف القليل من الطلقات يتم حلها.في هذه الورقة، نلقي نظرة أعمق على فعالية نماذج التصنيف القليلة القليلة في إعداد استخراج العلاقات الأكثر شيوعا، وإظهار أن مقاييس التقييم القليلة النموذجية تحجب تقلب واسع في الأداء عبر العلاقات.على وجه الخصوص، نجد أن نماذج تصنيف العلاقات بين الفنون القليلة تعتمد بشكل مفرط على معلومات نوع الكيان، واقتراح تعديلات على روتين التدريب لتشجيع النماذج على التمييز بشكل أفضل بين العلاقات التي تنطوي على أنواع كيانات مماثلة.

In recent years, few-shot models have been applied successfully to a variety of NLP tasks. Han et al. (2018) introduced a few-shot learning framework for relation classification, and since then, several models have surpassed human performance on this task, leading to the impression that few-shot relation classification is solved. In this paper we take a deeper look at the efficacy of strong few-shot classification models in the more common relation extraction setting, and show that typical few-shot evaluation metrics obscure a wide variability in performance across relations. In particular, we find that state of the art few-shot relation classification models overly rely on entity type information, and propose modifications to the training routine to encourage models to better discriminate between relations involving similar entity types.