Biggreen في مهمة Semeval-2021 1: تنبؤ التعقيد المعجمي مع نماذج التجميع

تصف هذه الورقة نظام مقدم من فريق Biggreen إلى LCP 2021 للتنبؤ بالتعقيد المعجمي للكلمات الإنجليزية في سياق معين.نحن نكرب نموذجا يعتمد على الهندسة مع نموذج شبكة عصبي عميق تأسست على بيرتف.بينما ينفذ بيرت نفسها بشكل تنافسي، فإن نموذجنا القائم على الهندسة يساعد في الحالات القصوى، على سبيل المثال.فصل حالات الصعوبة السهلة والمحايدة.تضم ميزاتنا المصنوعة يدويا اتساعا من التدابير الصوفية المعجمية والدلية والمعنية والرواية.تقدم تصورات خرائط بيرت اهتماما نظرة ثاقبة للميزات المحتملة التي قد تتعلمها نماذج المحولات عند ضبطها من أجل تنبؤ التعقيد المعجمي.تنقيح تنبؤاتنا المعقولة بشكل معقول بالنسبة للكلمة الفرعية الواحدة، ونظهر كيف يمكن تسخيرها لأداء الاستاحا الفرعي للتعبير المتعدد الآن.

This paper describes a system submitted by team BigGreen to LCP 2021 for predicting the lexical complexity of English words in a given context. We assemble a feature engineering-based model with a deep neural network model founded on BERT. While BERT itself performs competitively, our feature engineering-based model helps in extreme cases, eg. separating instances of easy and neutral difficulty. Our handcrafted features comprise a breadth of lexical, semantic, syntactic, and novel phonological measures. Visualizations of BERT attention maps offer insight into potential features that Transformers models may learn when fine-tuned for lexical complexity prediction. Our ensembled predictions score reasonably well for the single word subtask, and we demonstrate how they can be harnessed to perform well on the multi word expression subtask too.