ترغب بنشر مسار تعليمي؟ اضغط هنا

CS-UM6P في مهمة Semeval-2021 1: ترميز محول محول مدرب مسبقا مسبقا في التعلم العميق للتعقيد المعجمي

CS-UM6P at SemEval-2021 Task 1: A Deep Learning Model-based Pre-trained Transformer Encoder for Lexical Complexity

372   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

تنطوي تنبؤ التعقيد المعجمي (LCP) على تعيين درجة صعوبة إلى كلمة أو تعبير معين، في نص مخصص للجمهور المستهدف.في هذه الورقة، نقدم نظام جديد يعتمد على التعلم العميق لهذه المهمة الصعبة.يتكون النظام المقترح من نموذج تعليمي عميق، استنادا إلى تشفير المحولات المدربة مسبقا، من أجل تنبؤ تعقيد Word و Expression متعدد الكلمة (MWE).أولا، في الجزء العلوي من تضمين الكلمة السياقية في التشفير، توظف نموذجنا طبقة اهتماما في سياق الإدخال والكلمة المعقدة أو MWE.بعد ذلك، يتسلل إخراج الانتباه مع الإخراج المجمع من التشفير وتمتاز إلى وحدة الانحدار.نحن نحقق في كل من المهمة الفردية والتدريب المشترك على كلا بيانات المهام الفرعية باستخدام الترميز المتعدد المدربين مسبقا.النتائج التي تم الحصول عليها واعدة للغاية وتعرض فعالية المحولات التي تم تدريبها مسبقا على مهام LCP.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

أصبح الكشف عن الفكاهة موضوع اهتمام بالعديد من فرق البحث، وخاصة المشاركين في الدراسات الاجتماعية والنفسية، بهدف الكشف عن الفكاهة والأشجار السكانية المستهدفة (مثل مجتمع، مدينة، أي بلد، موظفوشركة معينة).قامت معظم الدراسات الحالية بصياغة مشكلة الكشف عن ا لفكاهة باعتبارها مهمة تصنيف ثنائية، بينما تدور حول تعلم شعور الفكاهة من خلال تقييم درجاتها المختلفة.في هذه الورقة، نقترح نموذج التعلم العميق متعدد الإنهاء (MTL) للكشف عن الفكاهة والجريمة.وهي تتألف من ترميز محول مدرب مسبقا وطبقات اهتمام خاص بمهام المهام.يتم تدريب النموذج باستخدام وزن خسارة عدم اليقين MTL للجمع بين جميع الوظائف الموضوعية ذات المهام الفرعية.يتناول نموذج MTL الخاص بنا جميع المهام الفرعية لمهمة Semeval-2021-7 في نظام التعلم العميق في نهاية واحد ويظهر نتائج واعدة للغاية.
المساهمة الرئيسية لهذه الورقة هي نماذج اللغات القائمة على Tune-Tune - مدربة مسبقا على العديد من النصوص، وبعضها عام (على سبيل المثال، ويكيبيديا، bookscorpus)، وبعضها يجري شركة DataSet المعقدة، والبعض الآخر يجريمن مجالات محددة أخرى مثل التمويل والقانون ، إلخ. نقوم بإجراء دراسات الاجتثاث حول اختيار طرازات المحولات وكيف يتم تجميع درجات تعقيدها الفردية للحصول على درجات التعقيد الناتجة.لدينا طريقة تحقق أفضل ارتباط بيرنسي ب 0.784 في المهمة الفرعية 1 (كلمة واحدة) و 0.836 في المهمة الفرعية 2 (تعبيرات كلمات متعددة).
التعقيد المعجمي يلعب دورا مهما في فهم القراءة.لا يمكن استخدام تنبؤ التعقيد المعجمي (LCP) كجزء من أنظمة التبسيط المعجمية، ولكن أيضا كتطبيق مستقل لمساعدة الأشخاص على قراءة أفضل.تقدم هذه الورقة النظام الفائز الذي قدمناه إلى مهمة LCP المشتركة في Semeval 2021 القادرة على التعامل مع كل من المهام الفرعية.نقوم أولا بإجراء ضبط جيد على أرقام نماذج اللغة المدربة مسبقا (PLMS) مع العديد من أنواع التشنجات المختلفة واستراتيجيات التدريب المختلفة مثل وضع العلامات الزائفة والبيانات.ثم يتم تطبيق آلية تكديس فعالة على رأس Plms المصنفات الدقيقة للحصول على التنبؤ النهائي.تظهر النتائج التجريبية على مجموعة البيانات المعقدة صحة طريقتنا ونحن رتب أولا والثاني للمضمون الفرعي 2 و 1.
تصف هذه الورقة مساهمتنا في مهمة Semeval 2021 1 (Shardlow et al.، 2021): تنبؤ التعقيد المعجمي.في نهجنا، نستفيد النموذج Electra ومحاولة تعكس نظام شرح البيانات.على الرغم من أن المهمة مهمة الانحدار، إلا أننا نوضح أننا نستطيع التعامل معها كجميع العديد من نماذج التصنيف والانحدار.حقق هذا النهج المضاد بشدة إلى حد ما درجة مياه 0.0654 للمهمة الفرعية 1 و MAE من 0.0811 بشأن المهمة الفرعية 2. بالإضافة إلى ذلك، استخدمنا مفهوم إشارات الإشراف الضعيفة من برت لمعان في عملنا، وتحسن بشكل كبيردرجة ماي في المهمة الفرعية 1.
إن التنبؤ بمستوى تعقيد كلمة أو عبارة تعتبر مهمة صعبة.يتم التعرف عليه حتى كخطوة حاسمة في العديد من تطبيقات NLP، مثل إعادة ترتيب النصوص ومبسط النص.تعامل البحث المبكر المهمة بمثابة مهمة تصنيف ثنائية، حيث توقعت النظم وجود تعقيد كلمة (معقد مقابل غير معقدة ).تم تصميم دراسات أخرى لتقييم مستوى تعقيد الكلمات باستخدام نماذج الانحدار أو نماذج تصنيف الوسائط المتعددة.تظهر نماذج التعلم العميق تحسنا كبيرا على نماذج تعلم الآلات مع صعود تعلم التحويل ونماذج اللغة المدربة مسبقا.تقدم هذه الورقة نهجنا الذي فاز في المرتبة الأولى في المهمة السامية 1 (Sub STASK1).لقد حسبنا درجة تعقيد كلمة من 0-1 داخل النص.لقد تم تصنيفنا في المرتبة الأولى في المسابقة باستخدام نماذج اللغة المدربة مسبقا بيرت روبرتا، مع درجة ارتباط بيرسون من 0.788.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا