ترغب بنشر مسار تعليمي؟ اضغط هنا

unbnlp في مهمة Semeval-2021 1: التنبؤ بالتعقيد المعجمي مع نماذج لغة ملثكة وترميز مستوى الأحرف

UNBNLP at SemEval-2021 Task 1: Predicting lexical complexity with masked language models and character-level encoders

316   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

في هذه الورقة، نقدم ثلاثة أنظمة مختلفة للإشراف على تنبؤ التعقيد المعجمي باللغة الإنجليزية للتعبيرات الفردية والمتعددة المهام ل Semeval-2021.الرمز المستهدف في السياق.تجمع أفضل نظامنا بين المعلومات من هذه المصادر الثلاث.تشير النتائج إلى أن المعلومات الواردة من نماذج اللغة الملثمين ويمكن دمج ترميز مستوى الطابع لتحسين تنبؤ التعقيد المعجمي.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

نقدم نهجنا في التنبؤ بالتعقيد المعجمي للكلمات في سياقات محددة، على النحو الذي أدخلته المهمة المشتركة LCP 1 في Semeval 2021. يتكون النهج من الجمل الفاصلة إلى قطع أصغر، وتضمينها مع SENT2VEC، وتقليل المدينات إلى متجه أبسط يستخدم كمدخلإلى شبكة عصبية، هذا الأخير للتنبؤ بعقد الكلمات والتعبيرات.تشير النتائج إلى أن تضيير الجملة المدربة مسبقا غير قادرة على التقاط التعقيد المعجمي من اللغة عند تطبيقها في تطبيقات عبر المجال.
تصف هذه الورقة نظام مقدم من فريق Biggreen إلى LCP 2021 للتنبؤ بالتعقيد المعجمي للكلمات الإنجليزية في سياق معين.نحن نكرب نموذجا يعتمد على الهندسة مع نموذج شبكة عصبي عميق تأسست على بيرتف.بينما ينفذ بيرت نفسها بشكل تنافسي، فإن نموذجنا القائم على الهندسة يساعد في الحالات القصوى، على سبيل المثال.فصل حالات الصعوبة السهلة والمحايدة.تضم ميزاتنا المصنوعة يدويا اتساعا من التدابير الصوفية المعجمية والدلية والمعنية والرواية.تقدم تصورات خرائط بيرت اهتماما نظرة ثاقبة للميزات المحتملة التي قد تتعلمها نماذج المحولات عند ضبطها من أجل تنبؤ التعقيد المعجمي.تنقيح تنبؤاتنا المعقولة بشكل معقول بالنسبة للكلمة الفرعية الواحدة، ونظهر كيف يمكن تسخيرها لأداء الاستاحا الفرعي للتعبير المتعدد الآن.
في هذه الورقة، نصف مشاركتنا في مهمة تقوية المعقدة المعجمية (LCP) مهمة Semeval 2021، والتي تنطوي على التنبؤ بتصنيفات ذاتية للتعقيد للكلمات الفردية الإنجليزية وتعبيرات متعددة الكلمة، المقدمة في السياق.يعتمد نهجنا على مزيج من النماذج التوزيعية، كل من ال سياق المعال والسياق المستقل، إلى جانب المعايير السلوكية والموارد المعجمية.
إن التنبؤ بمستوى تعقيد كلمة أو عبارة تعتبر مهمة صعبة.يتم التعرف عليه حتى كخطوة حاسمة في العديد من تطبيقات NLP، مثل إعادة ترتيب النصوص ومبسط النص.تعامل البحث المبكر المهمة بمثابة مهمة تصنيف ثنائية، حيث توقعت النظم وجود تعقيد كلمة (معقد مقابل غير معقدة ).تم تصميم دراسات أخرى لتقييم مستوى تعقيد الكلمات باستخدام نماذج الانحدار أو نماذج تصنيف الوسائط المتعددة.تظهر نماذج التعلم العميق تحسنا كبيرا على نماذج تعلم الآلات مع صعود تعلم التحويل ونماذج اللغة المدربة مسبقا.تقدم هذه الورقة نهجنا الذي فاز في المرتبة الأولى في المهمة السامية 1 (Sub STASK1).لقد حسبنا درجة تعقيد كلمة من 0-1 داخل النص.لقد تم تصنيفنا في المرتبة الأولى في المسابقة باستخدام نماذج اللغة المدربة مسبقا بيرت روبرتا، مع درجة ارتباط بيرسون من 0.788.
تنقل تنبؤ التعقيد المعجمي (LCP) باحسن مستوى تعقيد رمز رمزي أو مجموعة من الرموز في جملة.يلعب دورا حيويا في تحسين مهام NLP المختلفة بما في ذلك التبسيط المعجمي والترجمات وتوليد النص.ومع ذلك، فإن المعنى المتعدد لكلمة في ظروف متعددة، وهيكل مجمع نحوي، والا عتماد المتبادل للكلمات في جملة تجعل من الصعب تقدير التعقيد المعجمي.لمعالجة هذه التحديات، قدمت مهمة Semeval-2021 1 مهمة مشتركة تركز على LCP وتعرض هذه الورقة مشاركتنا في هذه المهمة.اقترحنا نهجا قائم على المحولات مع انحدار زوج الجملة.نحن عملنا نماذج محول صعبة ضبطها.بما في ذلك بيرت وروبرتا لتدريب نموذجنا وصماماتها المتوقعة لتقدير التعقيد.توضح النتائج التجريبية أن طريقةنا المقترحة تحققت أداء تنافسي مقارنة بنظم المشاركين.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا