Ask2Transformers: ميزات المجال الصفرية مع نماذج اللغة المحددة مسبقا

في هذه الورقة، نقدم نظاما يستغل نماذج اللغة المدربة مسبقا مسبقا لتعيين ملصقات المجال إلى Synpesets Wordnet دون أي نوع من الإشراف.علاوة على ذلك، لا يقتصر النظام استخدام مجموعة معينة من ملصقات المجال.نحن نستنفذ المعرفة المشفرة في مختلف نماذج اللغة المدبعة مسبقا على الرف والتركيبات المهمة لاستنتاج تسمية المجال لتعريف Wordnet معين.يحقق نظام الطلقة الصفرية المقترحة حديثة جديدة في مجموعة البيانات الإنجليزية المستخدمة في التقييم.

In this paper we present a system that exploits different pre-trained Language Models for assigning domain labels to WordNet synsets without any kind of supervision. Furthermore, the system is not restricted to use a particular set of domain labels. We exploit the knowledge encoded within different off-the-shelf pre-trained Language Models and task formulations to infer the domain label of a particular WordNet definition. The proposed zero-shot system achieves a new state-of-the-art on the English dataset used in the evaluation.