نحن تصف أنظمة Utfpr المقدمة إلى تنبؤ التعقيد المعجمي المهمة المشتركة في Semeval 2021. إنهم يقومون بتنبؤ التعقيد من خلال الجمع بين الميزات الكلاسيكية، مثل تردد الكلمة، تردد N-Gram، طول الكلمة، وعدد الحواس، مع ناقلات Bert.نحن نختبر العديد من مجموعات ال
ميزات ونماذج تعلم الآلات في تجاربنا وتجد أن ناقلات بيرت، حتى لو لم تكن محسنة للمهمة في متناول اليد، هي مكملة كبيرة للميزات الكلاسيكية.نجد أيضا أن استخدام مبدأ التكوين يمكن أن يساعد في تنبؤ تعقيد العبارة.أنظمتنا تضع 45 من أصل 55 من الكلمات الواحدة والثمانين من أصل 38 للعبارات.
في هذه الورقة، نقترح نموذجا مقرا له عناية سياقية مع تدريبات دقيقة على مرحلتين باستخدام روبرتا.أولا، نقوم بإجراء النغمة الجميلة في المرحلة الأولى على Corpus مع روبرتا، بحيث يمكن للنموذج أن يتعلم بعض المعرفة المسبقة المجال.ثم نحصل على التضمين السياقي ب
كلمات السياق بناء على التضمين على مستوى الرمز المميز مع النموذج الدقيق.ونحن نستخدم KFOFT التحقق من الصحة للحصول على نماذج K وفرقة لهم للحصول على النتيجة النهائية.أخيرا، نحن نحصل على المركز الثاني في مرحلة التقييم النهائي من المهمة الفرعية 2 مع ارتباط بيرسون ب 0.8575.
تنقل تنبؤ التعقيد المعجمي (LCP) باحسن مستوى تعقيد رمز رمزي أو مجموعة من الرموز في جملة.يلعب دورا حيويا في تحسين مهام NLP المختلفة بما في ذلك التبسيط المعجمي والترجمات وتوليد النص.ومع ذلك، فإن المعنى المتعدد لكلمة في ظروف متعددة، وهيكل مجمع نحوي، والا
عتماد المتبادل للكلمات في جملة تجعل من الصعب تقدير التعقيد المعجمي.لمعالجة هذه التحديات، قدمت مهمة Semeval-2021 1 مهمة مشتركة تركز على LCP وتعرض هذه الورقة مشاركتنا في هذه المهمة.اقترحنا نهجا قائم على المحولات مع انحدار زوج الجملة.نحن عملنا نماذج محول صعبة ضبطها.بما في ذلك بيرت وروبرتا لتدريب نموذجنا وصماماتها المتوقعة لتقدير التعقيد.توضح النتائج التجريبية أن طريقةنا المقترحة تحققت أداء تنافسي مقارنة بنظم المشاركين.
تقدم هذه الورقة النظام الذي قدمناه إلى المهمة المشتركة التي نقدمها لأول المهمة المشتركة (LCP) 2021. توفر المهمة المشتركة للمشاركين مع مجموعة بيانات جديدة باللغة الإنجليزية تتضمن سياق الكلمة المستهدفة.نحن نشارك في المهمة الفرعية للتنبؤ بكلمة واحدة وال
تركيز على هندسة الميزة.يتم تدريب أفضل نظامنا على الميزات اللغوية و Adgeddings Word (درجة بيرسون من 0.7942).ومع ذلك، نوضح أن مجموعة ميزة أبسط تحقق نتائج مماثلة وتقديم نموذج تدرب على 36 ميزات لغوية (درجة بيرسون من 0.7925).
