بناء أنظمة NLP التي تخدم الجميع يتطلب محاسبة اختلافات اللهجة. ولكن اللهجات ليست كيانات متجانسة: بالأحرى، يتم التقاط الفروق بين اللهجات وداخلها من خلال وجود وغياب العشرات من ميزات اللهجة في الكلام والنص، مثل حذف كوبولا في إنه ∅ قيد التشغيل ". في هذه ا
لورقة، نقدم مهمة الكشف عن ميزة اللهجة، وتقديم نهج تعليمي متعدد الأيتاكي، بناء على المحولات المحددة مسبقا. بالنسبة لمعظم اللهجات، لا تتوفر كوربورا المشروح على نطاق واسع لهذه الميزات، مما يجعل من الصعب تدريب التعرف عليها. نحن ندرب نماذجنا على عدد صغير من أزواج صغيرة، والبناء على كيفية تحديد اللغويين عادة ميزات اللهجة. التقييم في مجموعة اختبار من 22 ميزات لهجيات للهنديون يدل على أن هذه النماذج تتعلم كيفية التعرف على العديد من الميزات بدقة عالية، وأن عدد قليل من أزواج الحد الأدنى يمكن أن تكون فعالة للتدريب مع الآلاف من الأمثلة المسمى. ونحن نوضح أيضا إمكانية تطبيق ميزة الهياكل على حد سواء كإجراء من كثافة اللهجة وكمعشر لهجة اللهجة.
نقدم نتائج ونتائج الهوية العربية ذات الدعوى الدقيقة Thesecond المهمة (NADI 2021).هذه المهام التجارية المشتركة أربعة مجموعات فرعية: تحديد الهوية العربي (SubTask1.1) على المستوى القطري (SubTask1.1)، وتحديد الهدوء على المستوى القطري (SubTAsk1.2)، وهوية
MSA على مستوى المقاطعة (SubTask2.1) ولهجة فرعية من مستوى المقاطعةCountrifica-Tion (SubTask 2.2).مجموعة بيانات المهام المشتركة COV-ERS ما مجموعه 100 مقاطعة من 21 محاطة عربية، تم جمعها من مجال تويتر.تم تسجيل فريق TOTOROF 53 من 23 دولة في المحاسبة في المهام، مما يعكس مصلحة المجتمع في هذا المجال.تلقينا 16 حالة من الفئة الفرعية 1.1 من خمسة فرق، 27 حالة من الفئة الفرعية 1.2 من ثمانية فرق، 12 تقريرا ل SubTask 2.1 من أربعة فرق، و 13 طلبا ل SubTask 2.2 من Fourteams.
توضح هذه المقالة التجارب والأنظمة التي طورها فريق SUKI للطبعة الثانية من المهمة المشتركة لتحديد الهاتية الرومانية (RDI) التي تم تنظيمها كجزء من حملة التقييم الفاديم 2021.لقد قدمنا اثنين يدير إلى المهمة المشتركة، وكان تقديمنا الثاني هو أفضل التقديم بش
كل عام من هامش ملحوظ.استخدم أفضل العروض لدينا حرف N-Gram مقصورة BAWEES ساذجة مع نماذج اللغة التكيفية.نحن نصف تجاربنا على مجموعة التنمية المؤدية إلى كل من التقديمات.
يحقق هذا العمل في قيمة زيادة الشبكات العصبية المتكررة مع هندسة ميزة لهندسة الطلب العربي الثاني (NADI) 1.2: تحديد المستوى القطري.نقارن أداء LSTM على مستوى الكلمات البسيطة باستخدام Artrained Abbeddings مع واحدة معززة باستخدام ميزة الميزات للميزات اللغو
ية المهندسة.تظهر نتائجنا أن إضافة ميزات صريحة إلى LSTM ضارية للأداء.نحن نعزو هذا فقدان الأداء على التبريد في بعض العناصر اللغوية في بعض النصوص، وكلية المواضيع، والتنقل المشارك.
إنَّ اللُّغةُ هيَ أداةُ التَّواصُلِ ذاتُ الدَّورِ الأهمِّ في حياةِ الإنسانِ و علاقتهِ معَ بيئتهِ، و تقويمِ صلتهِ بالمجتمعِ الّذي يُولَدُ و يندمجُ فيه. و لطالما كانتِ ابنةُ المجتمعِ، المُتأثّرة بتطوّرهِ، و المُتأخِّرة بتأخُّره.
و بما أنَّ الفُصحى هيَ
لغةُ التّعامُلِ الرّسميّة، الرًّصينةِ بنحوِها، و صرفِها، و مُفرداتِها المُنتقِلة منَ السّلف إلى الخلف، إلّا أنَّها قد تكونُ في كثيرٍ منَ الأحيانِ صعبةَ التّطبيقِ و الوُصولِ إلى جميعِ الناسِ على اختلافِ مقوّماتهم الثّقافية، فمنَ الصَّعبِ أن تنقُلَ الواقعَ و إيقاعاته بشفافيةٍ إلى جميعِ النّاس، و أن تُعبّرَ عنِ الحياةِ ببساطتِها و عفويّتها، و تصِل إلى النّاسِ على اختلافِهم.
و بما أنَّ ظاهرةَ وجودِ اللغةِ العامّيّةِ إلى جانبِ الفُصحى، ظاهرةٌ لُغويّة في جميعِ دُوَلِ العالم، مِن هنا جاءتِ الحاجةُ في الرّوايةِ العربيّةِ بشكلٍ عامّ، و الرّوايةِ الرّيفيَّةِ بشكلٍ خاصّ، إلى لُغةٍ وُسطى بينَ الفُصحى و العامّيّة، لٌغةِ حِوارٍ رِوائيّة قادِرة على تقريبِ الفُصحى منَ الحياةِ اليوميّة و إبداعِ صياغةٍ حواريّة تمنحُ الشّخصيّاتِ ملامِحَها النّفسيّة و الاجتماعيّة، لغةٍ مقبولةٍ عندَ مُختلفِ مُستوياتِ القُرّاء العلميّة و الثّقافيّة، و مكانتِهِم الاجتماعيّة، تخدِم النّصّ الرّوائي في التّعبيرِ عنِ العواطفِ الإنسانيّةِ الّتي تخرجُ بِلا وعيٍ، حيثُ تعجزُ الفُصحى برصانتِها و تركيبها عنِ أدائهِ و التّعبيرِ عنهُ، دونَ المساسِ بمكانةِ الأخيرةِ و قواعدِها و مبادئِها الأساسيّة انطِلاقاً من أنَّ الفصحى كانت في يومٍ منَ الأيّامِ لُغةً عامّيّة، نزلت بلهجاتٍ مُختلِفة، عُبّرَ عنها سابقاً بكلمة "اللغة" أو "اللسان". قالَ تعالى: {وما أَرْسَلْنَا مِن رَسولٍ إلَّا بِلِسانِ قَومِهِ لِيُبَيِّنَ لَهُم فَيُضِلُّ اللهُ مَنْ يَشَاءُ وَ يُهدِي مَنْ يَشَاءُ وَ هُوَ العَزيزُ الحَكيمُ}.
