Stanker: شبكة التراص استنادا إلى بيرت ملثمين من الاهتمام بالاهتمام للكشف عن الشائعات على وسائل التواصل الاجتماعي

تضع الكشف عن الشائعات على وسائل التواصل الاجتماعي نماذج لغة مدربة مسبقا (LMS)، مثل Bert، والميزات المساعدة، مثل التعليقات، قيد الاستخدام. ومع ذلك، من ناحية، فإن مجموعات بيانات الكشف عن الشائعات في الشركات الصينية مع تعليقات نادرة؛ من ناحية أخرى، فإن التفاعل المكثف من الاهتمام على النماذج القائمة على المحولات مثل بيرت قد يعيق تحسين الأداء. لتخفيف هذه المشاكل، نبني مجموعة بيانات جديدة من المدونات الصغيرة الصينية تسمى Weibo20 من خلال جمع الوظائف والتعليقات المرتبطة بها من سينا ​​ويبو واقترح فرقة جديدة تسمى Stanker (Bracking Network بناء على الانتباه ملثمين). تتبنى Stanker نماذج برت ملثمين من اهتمامات اثنين من المحبوسين على مستوى تشفير قاعدة. على عكس الخطابة الأصلية، يتخذ نموذج LGAM-Bert الجديد الخاص بنا تعليقات كملفات مساعدة مهمة ويعتد على الانتباه بين الوظائف والتعليقات على الطبقات المنخفضة. أظهرت التجارب على Weibo20 وثلاث مجموعات بيانات وسائل التواصل الاجتماعي الحالية أن الستائر تفوقت على جميع النماذج المقارنة، وخاصة ضرب الدولة القديمة في مجموعة بيانات Weibo.

Rumor detection on social media puts pre-trained language models (LMs), such as BERT, and auxiliary features, such as comments, into use. However, on the one hand, rumor detection datasets in Chinese companies with comments are rare; on the other hand, intensive interaction of attention on Transformer-based models like BERT may hinder performance improvement. To alleviate these problems, we build a new Chinese microblog dataset named Weibo20 by collecting posts and associated comments from Sina Weibo and propose a new ensemble named STANKER (Stacking neTwork bAsed-on atteNtion-masKed BERT). STANKER adopts two level-grained attention-masked BERT (LGAM-BERT) models as base encoders. Unlike the original BERT, our new LGAM-BERT model takes comments as important auxiliary features and masks co-attention between posts and comments on lower-layers. Experiments on Weibo20 and three existing social media datasets showed that STANKER outperformed all compared models, especially beating the old state-of-the-art on Weibo dataset.