متفائل الرجال @ LT-EDI-EACL2021: الكشف عن الكلام الأمل باستخدام نظام الترجمة والمحولات

تهدف هذه الورقة إلى وصف النهج الذي اعتدنا عليه اكتشاف خطاب الأمل في مجموعة بيانات Hopeiedi.جربنا مع نهجين.في النهج الأول، استخدمنا ادارة سياقية لتدريب المصنفات باستخدام الانحدار اللوجستي، والغابات العشوائية، و SVM، و LSTM.النهج الثاني المعني باستخدام فرقة التصويت للأغلبية من 11 نماذج تم الحصول عليها عن طريق نماذج محولات محول مدربة مسبقا (بيرت، ألبرت، روبرتا، Inderbert) بعد إضافة طبقة إخراج.وجدنا أن النهج الثاني كان متفوقا على اللغة الإنجليزية والتاميل والمالايالامية.حصل حلنا على درجة مرجحة F1 من 0.93 و 0.75 و 0.49 للغة الإنجليزية ومالايالامية والتاميل على التوالي.احتل محلولنا في المرتبة الأولى باللغة الإنجليزية، الثامن في ملايال و 11 في التاميل.

This paper aims to describe the approach we used to detect hope speech in the HopeEDI dataset. We experimented with two approaches. In the first approach, we used contextual embeddings to train classifiers using logistic regression, random forest, SVM, and LSTM based models. The second approach involved using a majority voting ensemble of 11 models which were obtained by fine-tuning pre-trained transformer models (BERT, ALBERT, RoBERTa, IndicBERT) after adding an output layer. We found that the second approach was superior for English, Tamil and Malayalam. Our solution got a weighted F1 score of 0.93, 0.75 and 0.49 for English, Malayalam and Tamil respectively. Our solution ranked 1st in English, 8th in Malayalam and 11th in Tamil.