تنطوي تنبؤ التعقيد المعجمي (LCP) على تعيين درجة صعوبة إلى كلمة أو تعبير معين، في نص مخصص للجمهور المستهدف.في هذه الورقة، نقدم نظام جديد يعتمد على التعلم العميق لهذه المهمة الصعبة.يتكون النظام المقترح من نموذج تعليمي عميق، استنادا إلى تشفير المحولات المدربة مسبقا، من أجل تنبؤ تعقيد Word و Expression متعدد الكلمة (MWE).أولا، في الجزء العلوي من تضمين الكلمة السياقية في التشفير، توظف نموذجنا طبقة اهتماما في سياق الإدخال والكلمة المعقدة أو MWE.بعد ذلك، يتسلل إخراج الانتباه مع الإخراج المجمع من التشفير وتمتاز إلى وحدة الانحدار.نحن نحقق في كل من المهمة الفردية والتدريب المشترك على كلا بيانات المهام الفرعية باستخدام الترميز المتعدد المدربين مسبقا.النتائج التي تم الحصول عليها واعدة للغاية وتعرض فعالية المحولات التي تم تدريبها مسبقا على مهام LCP.
Lexical Complexity Prediction (LCP) involves assigning a difficulty score to a particular word or expression, in a text intended for a target audience. In this paper, we introduce a new deep learning-based system for this challenging task. The proposed system consists of a deep learning model, based on pre-trained transformer encoder, for word and Multi-Word Expression (MWE) complexity prediction. First, on top of the encoder's contextualized word embedding, our model employs an attention layer on the input context and the complex word or MWE. Then, the attention output is concatenated with the pooled output of the encoder and passed to a regression module. We investigate both single-task and joint training on both Sub-Tasks data using multiple pre-trained transformer-based encoders. The obtained results are very promising and show the effectiveness of fine-tuning pre-trained transformers for LCP task.
المراجع المستخدمة
https://aclanthology.org/
أصبح الكشف عن الفكاهة موضوع اهتمام بالعديد من فرق البحث، وخاصة المشاركين في الدراسات الاجتماعية والنفسية، بهدف الكشف عن الفكاهة والأشجار السكانية المستهدفة (مثل مجتمع، مدينة، أي بلد، موظفوشركة معينة).قامت معظم الدراسات الحالية بصياغة مشكلة الكشف عن ا
المساهمة الرئيسية لهذه الورقة هي نماذج اللغات القائمة على Tune-Tune - مدربة مسبقا على العديد من النصوص، وبعضها عام (على سبيل المثال، ويكيبيديا، bookscorpus)، وبعضها يجري شركة DataSet المعقدة، والبعض الآخر يجريمن مجالات محددة أخرى مثل التمويل والقانون
التعقيد المعجمي يلعب دورا مهما في فهم القراءة.لا يمكن استخدام تنبؤ التعقيد المعجمي (LCP) كجزء من أنظمة التبسيط المعجمية، ولكن أيضا كتطبيق مستقل لمساعدة الأشخاص على قراءة أفضل.تقدم هذه الورقة النظام الفائز الذي قدمناه إلى مهمة LCP المشتركة في Semeval
تصف هذه الورقة مساهمتنا في مهمة Semeval 2021 1 (Shardlow et al.، 2021): تنبؤ التعقيد المعجمي.في نهجنا، نستفيد النموذج Electra ومحاولة تعكس نظام شرح البيانات.على الرغم من أن المهمة مهمة الانحدار، إلا أننا نوضح أننا نستطيع التعامل معها كجميع العديد من
إن التنبؤ بمستوى تعقيد كلمة أو عبارة تعتبر مهمة صعبة.يتم التعرف عليه حتى كخطوة حاسمة في العديد من تطبيقات NLP، مثل إعادة ترتيب النصوص ومبسط النص.تعامل البحث المبكر المهمة بمثابة مهمة تصنيف ثنائية، حيث توقعت النظم وجود تعقيد كلمة (معقد مقابل غير معقدة