تحسين نماذج مسبقا لتصنيف النص متعدد الملصقات صفرية من خلال تسلسل التسلسل الهرمي للتسمية المعززة

أصبحت تسليلات التسلسل الهرمي لاستغلال التسمية نهجا واعدا لمعالجة مشكلة تصنيف النص متعدد الملصقات الصفرية (ZS-MTC). تهدف الأساليب التقليدية إلى تعلم نموذج مطابق بين النص والملصقات، باستخدام تشفير رسم بياني لإدراج التسلسلات الهرمية التسمية للحصول على تمثيلات تسمية فعالة (Rios and Kavuluru، 2018). في الآونة الأخيرة، تم استخدام نماذج مسبقا مثل Bert (Devlin et al.، 2018) لتحويل مهام التصنيف إلى مهمة استقامة نصية (يين وآخرون، 2019). هذا النهج مناسب بشكل طبيعي لمهمة ZS-MTC. ومع ذلك، فإن النماذج المحددة المسبقة هي غير مقصودة في العمل الحالي لأنها لا تولد تمثيلات ناقلات فردية للنصوص أو الملصقات، مما يجعلها بلا معنى الجمع بين أساليب ترميز الرسم البياني التقليدي. في هذه الورقة، نستكشف لتحسين النماذج المحددة مع التسلسلات الهرمية التسمية في مهمة ZS-MTC. نقترح نهج تسلسل التسلسل الهرمي العلوي (RLHR) لتشجيع الترابط بين الملصقات في التسلسلات الهرمية أثناء التدريب. وفي الوقت نفسه، للتغلب على ضعف التوقعات المسطحة، نقوم بتصميم خوارزمية Rollback التي يمكنها إزالة الأخطاء المنطقية من التنبؤات أثناء الاستدلال. تظهر النتائج التجريبية على ثلاث مجموعات بيانات حقيقية على أن نهجنا يحقق أداء أفضل وتتفوق على الأساليب السابقة غير مسبوقة في مهمة ZS-MTC.

Exploiting label hierarchies has become a promising approach to tackling the zero-shot multi-label text classification (ZS-MTC) problem. Conventional methods aim to learn a matching model between text and labels, using a graph encoder to incorporate label hierarchies to obtain effective label representations (Rios and Kavuluru, 2018). More recently, pretrained models like BERT (Devlin et al., 2018) have been used to convert classification tasks into a textual entailment task (Yin et al., 2019). This approach is naturally suitable for the ZS-MTC task. However, pretrained models are underexplored in the existing work because they do not generate individual vector representations for text or labels, making it unintuitive to combine them with conventional graph encoding methods. In this paper, we explore to improve pretrained models with label hierarchies on the ZS-MTC task. We propose a Reinforced Label Hierarchy Reasoning (RLHR) approach to encourage interdependence among labels in the hierarchies during training. Meanwhile, to overcome the weakness of flat predictions, we design a rollback algorithm that can remove logical errors from predictions during inference. Experimental results on three real-life datasets show that our approach achieves better performance and outperforms previous non-pretrained methods on the ZS-MTC task.