في هذه الورقة، نصف مشاركتنا في مهمة تقوية المعقدة المعجمية (LCP) مهمة Semeval 2021، والتي تنطوي على التنبؤ بتصنيفات ذاتية للتعقيد للكلمات الفردية الإنجليزية وتعبيرات متعددة الكلمة، المقدمة في السياق.يعتمد نهجنا على مزيج من النماذج التوزيعية، كل من ال
سياق المعال والسياق المستقل، إلى جانب المعايير السلوكية والموارد المعجمية.
إن التنبؤ بمستوى تعقيد كلمة أو عبارة تعتبر مهمة صعبة.يتم التعرف عليه حتى كخطوة حاسمة في العديد من تطبيقات NLP، مثل إعادة ترتيب النصوص ومبسط النص.تعامل البحث المبكر المهمة بمثابة مهمة تصنيف ثنائية، حيث توقعت النظم وجود تعقيد كلمة (معقد مقابل غير معقدة
).تم تصميم دراسات أخرى لتقييم مستوى تعقيد الكلمات باستخدام نماذج الانحدار أو نماذج تصنيف الوسائط المتعددة.تظهر نماذج التعلم العميق تحسنا كبيرا على نماذج تعلم الآلات مع صعود تعلم التحويل ونماذج اللغة المدربة مسبقا.تقدم هذه الورقة نهجنا الذي فاز في المرتبة الأولى في المهمة السامية 1 (Sub STASK1).لقد حسبنا درجة تعقيد كلمة من 0-1 داخل النص.لقد تم تصنيفنا في المرتبة الأولى في المسابقة باستخدام نماذج اللغة المدربة مسبقا بيرت روبرتا، مع درجة ارتباط بيرسون من 0.788.
تصف هذه الورقة نظام مقدم من فريق Biggreen إلى LCP 2021 للتنبؤ بالتعقيد المعجمي للكلمات الإنجليزية في سياق معين.نحن نكرب نموذجا يعتمد على الهندسة مع نموذج شبكة عصبي عميق تأسست على بيرتف.بينما ينفذ بيرت نفسها بشكل تنافسي، فإن نموذجنا القائم على الهندسة
يساعد في الحالات القصوى، على سبيل المثال.فصل حالات الصعوبة السهلة والمحايدة.تضم ميزاتنا المصنوعة يدويا اتساعا من التدابير الصوفية المعجمية والدلية والمعنية والرواية.تقدم تصورات خرائط بيرت اهتماما نظرة ثاقبة للميزات المحتملة التي قد تتعلمها نماذج المحولات عند ضبطها من أجل تنبؤ التعقيد المعجمي.تنقيح تنبؤاتنا المعقولة بشكل معقول بالنسبة للكلمة الفرعية الواحدة، ونظهر كيف يمكن تسخيرها لأداء الاستاحا الفرعي للتعبير المتعدد الآن.
