تحسين اكتشاف الموقف مع التعلم متعدد البيانات والتقطير المعرفي

يحدد اكتشاف الموقف ما إذا كان مؤلف النص مؤهلا لصالح أو محايد هدف معين ويوفر رؤى قيمة في أحداث مهمة مثل تقنين الإجهاض. على الرغم من التقدم الكبير في هذه المهمة، فإن أحد التحديات المتبقية هو ندرة التعليقات التوضيحية. علاوة على ذلك، ركزت معظم الأعمال السابقة على تدريبا ثابتا على التسمية التي يتم فيها التخلص منها تشابه ذات معنى بين الفئات أثناء التدريب. لمعالجة هذه التحديات أولا، نقيم هدف متعدد المستهدف وإعدادات تدريب متعددة البيانات من خلال تدريب نموذج واحد على كل مجموعة بيانات ومجموعات من المجالات المختلفة، على التوالي. نظهر أن النماذج يمكن أن تتعلم المزيد من التمثيلات العالمية فيما يتعلق بالأهداف في هذه الإعدادات. ثانيا، يمكننا التحقيق في تقطير المعرفة في اكتشاف الموقف ومراقبة أن نقل المعرفة من نموذج المعلم إلى نموذج الطالب يمكن أن يكون مفيدا في إعدادات التدريب المقترحة. علاوة على ذلك، نقترح طريقة تقطير المعرفة التكيفية (AKD) تطبق تحجيم درجة الحرارة الخاصة بالمثيلات إلى المعلم والتنبؤات الطلابية. تشير النتائج إلى أن نموذج متعدد البيانات يعمل بشكل أفضل على جميع مجموعات البيانات ويمكن تحسينه من قبل AKD المقترح، مما يتفوق على أحدث حالة من الهامش الكبير. نحن نطلق علنا ​​كودنا.

Stance detection determines whether the author of a text is in favor of, against or neutral to a specific target and provides valuable insights into important events such as legalization of abortion. Despite significant progress on this task, one of the remaining challenges is the scarcity of annotations. Besides, most previous works focused on a hard-label training in which meaningful similarities among categories are discarded during training. To address these challenges, first, we evaluate a multi-target and a multi-dataset training settings by training one model on each dataset and datasets of different domains, respectively. We show that models can learn more universal representations with respect to targets in these settings. Second, we investigate the knowledge distillation in stance detection and observe that transferring knowledge from a teacher model to a student model can be beneficial in our proposed training settings. Moreover, we propose an Adaptive Knowledge Distillation (AKD) method that applies instance-specific temperature scaling to the teacher and student predictions. Results show that the multi-dataset model performs best on all datasets and it can be further improved by the proposed AKD, outperforming the state-of-the-art by a large margin. We publicly release our code.