IAPUCP في مهمة Semeval-2021 1: تكديس المحولات التي تم ضبطها بشكل جيد تقريبا كل ما تحتاجه لتنبؤ التعقيد المعجمي

تصف هذه الورقة تقديمنا إلى مهمة Semeval-2021 1: التنبؤ بدرجة التعقيد لكلمات واحدة.النموذج لدينا يهدف إلى ارتفاع الميزات المورفوسنكتاكيتش والمترددات المستندة إلى التردد التي أثبتت أنها مفيدة لتحديد الكلمات المعقدة (مهمة ذات صلة)، وتجمع بينها مع تنبؤات مصنوعة من النماذج المدربة المستندة إلى المحولات التي تم ضبطها بشكل جيد على بيانات المهام المشتركة.تداولات نظام التقديم لدينا جميع النماذج السابقة مع LightgBM في الأعلى.يتمثل أحد الجدة في نهجنا في استخدام التعلم متعدد المهام لضبط النموذج المدرب مسبقا لكلا التنبؤ في التعقيد المعجمي و disambiguation معنى الكلمة.يوضح تحليلنا أن جميع النماذج المستقلة تحقق أداء جيدا في المهمة، ولكن أن تكديسها يحصل على علاقة بيرسون ب 0.7704، فقط 0.018 نقطة خلف التقديم الفائز.

This paper describes our submission to SemEval-2021 Task 1: predicting the complexity score for single words. Our model leverages standard morphosyntactic and frequency-based features that proved helpful for Complex Word Identification (a related task), and combines them with predictions made by Transformer-based pre-trained models that were fine-tuned on the Shared Task data. Our submission system stacks all previous models with a LightGBM at the top. One novelty of our approach is the use of multi-task learning for fine-tuning a pre-trained model for both Lexical Complexity Prediction and Word Sense Disambiguation. Our analysis shows that all independent models achieve a good performance in the task, but that stacking them obtains a Pearson correlation of 0.7704, merely 0.018 points behind the winning submission.