ساعد ظهور نماذج التعلم المتعددة المهام (MTL) في السنوات الأخيرة دفع الشقيقة للفن في اللغة الطبيعية Un-derstanding (NLU). نعتقد بشدة أن مشاكل Thanmany NLU باللغة العربية يتم تصحيحها على جني فوائد هذه النماذج. تنتهي Tothis نقترح معيار التقييم باللغة ال
عربية للأمم المتحدة (Alue)، بناء على 8 مهام مختارة بعناية و Lateded. لمدة خمسة من هؤلاء، نوفرو مجموعات من هذه البيانات الخاصة بتقييم القطاع الخاص للهناء من نزاهة وصلاحية معيارنا. كما نقدم مجموعة بيانات تشخيصية لتحقيق الأعمال الداخلية للبحث في الأعمال الداخلية لصالحهم. تجاربهم الأولية تظهر نماذج THOTMTL تتفوق على ThereCedCounterParts مهام. ولكن من أجل مشاركة EN-TICE من المجتمع الأوسع، نلتزم بالنشر المدربين أساسا أساسيا. ومع ذلك، فإن تحليلنا يكشف أن هذا هو الكثير من الغرفة للتحسين nlu inarabic. نأمل أن يتم تشغيل Alue جزءا في مساعدة مجتمعنا على تحقيق بعض هذه التحسينات. قام الباحثون المهتمون بدعوة إلى تقديم نتائجنا إلى المتصدرين لدينا عبر الإنترنت، ويمكن الوصول إليها علنا.
مكنت التقدم في تمثيل اللغة الإنجليزية مهمة أكثر كفاءة عينة من خلال التعلم بكفاءة ترميز يصنف بدائل الرمز المميز بدقة (Electra).أي، بدلا من تدريب نموذج لاستعادة الرموز الممثيلين، يقوم بتدريب نموذج تمييزي على التمييز بين الرموز الإدخال الحقيقية من الرمو
ز التالفة التي تم استبدالها بشبكة مولدات.من ناحية أخرى، فإن نهج تمثيل اللغة باللغة العربية الحالية تعتمد فقط على الاحتجاج عن طريق نمذجة اللغة الملثم.في هذه الورقة، نقوم بتطوير نموذج تمثيل اللغة باللغة العربية، والتي نستها ARAELECTRA.يتم الاحترام من النموذج الخاص بنا باستخدام هدف الكشف عن الرمز المميز في النص العربي الكبير.نقوم بتقييم نموذجنا على مهام NLP العربية المتعددة، بما في ذلك فهم القراءة وتحليل المعرفات والاعتراف باسم الكيان المسمى ونعرض أن ARAELECTRA تتفوق على نماذج تمثيل اللغة العربية الحديثة الحالية، بالنظر إلى نفس البيانات المحددةحجم نموذج أصغر.
