تقدم هذه الورقة محاولة في اكتشاف تعبيرات متعددة الكلمات (MWES) في اللغة الفارسية.وهي تركز على استخراج MWES التي تحتوي على لام من مجموعة معينة: الكلمات المستعارة في الفارسية وما يعادلها التي اقترحتها أكاديمية اللغة الفارسية والأدب.من أجل اكتشاف مثل هذ
ه MWES، يتم استخدام أربع تدابير جمعية (AMS) وتقييمها.أخيرا، يتم تحليل قائمة MWES المستخرجة، ويتم عرض مقارنة بين التعبيرات ذات الكلمات المستعارة وما يعادلها.لمعرفةنا، هذه هي المرة الأولى التي يتم فيها توفير مثل هذا التحليل للغة الفارسية.
مكنت الوصول الواسع من منصات وسائل التواصل الاجتماعي، مثل Twitter، العديد من المستخدمين من مشاركة أفكارهم وآرائهم وعواطفهم على مواضيع مختلفة عبر الإنترنت. سيسمح القدرة على الكشف عن هذه المشاعر تلقائيا العلماء الاجتماعيين، وكذلك الشركات التي يجب فهم ال
ردود بشكل أفضل من الأمم والأزياء. في هذه الدراسة، نقدم مجموعة بيانات تتراوح بين 30،000 تغريدات فارسي تحمل مشاعر EKMAN الأساسية الستة (الغضب والخوف والسعادة والحزن والحزن والكراهية والعجب). هذه هي أول مجموعة بيانات العاطفة المتاحة للجمهور في اللغة الفارسية. في هذه الورقة، نوضح نظام جمع البيانات ووضع العلامات المستخدمة لإنشاء هذه البيانات. نقوم أيضا بتحليل مجموعة البيانات التي تم إنشاؤها، والتي تظهر ميزات وخصائص البيانات المختلفة. من بين أشياء أخرى، نحقق في حدوث مشاعر مختلفة في مجموعة البيانات، والعلاقة بين المعنويات والعاطفة الحالات النصية. تتوفر DataSet علنا في https://github.com/nazaninsbr/persian-emotion-detection.
الملخص على الرغم من التقدم المحرز في السنوات الأخيرة في معالجة تحديات فهم اللغة الطبيعية (NLU)، فإن غالبية هذا التقدم لا يزال يتركز على اللغات الغنية بالموارد مثل اللغة الإنجليزية. يركز هذا العمل على اللغة الفارسية، واحدة من اللغات المنطوقة على نطاق
واسع في العالم، ومع ذلك، هناك عدد قليل من مجموعات بيانات NLU متاحة لهذه اللغة. إن توفر مجموعات بيانات التقييم عالية الجودة ضرورة لتقييم موثوق للتقدم المحرز في مهام ومجال NLU المختلفة. نقدم Parsinlu، أول معيار باللغة الفارسية التي تتضمن مجموعة من مهام فهم اللغة --- قراءة الفهم والتتبع النصي وما إلى ذلك. يتم جمع مجموعات البيانات هذه في العديد من الطرق، وغالبا ما تنطوي على التعليقات التوضيحية اليدوية من قبل المتكلمين الأصليين. ينتج عن هذا أكثر من 14.5 ألف حالة جديدة عبر 6 مهام NLU مميزة. بالإضافة إلى ذلك، نقدم النتائج الأولى من طرازات اللغة أحادية الأحادية ومتعددة اللغات في هذه المعيار ومقارنتها بالأداء البشري، والذي يوفر رؤى قيمة في قدرتنا على معالجة التحديات الفارسية في اللغة الفارسية. نأمل أن يعزز Parsinlu مزيدا من البحث والتقدم في فهم اللغة الفارسية
