تقديم مجموعة بيانات تونسية كبيرة تونسية لتحليل المعنويات

على مختلف منصات وسائل التواصل الاجتماعي، يميل الناس، إلى استخدام الطريقة غير الرسمية للتواصل، أو كتابة المشاركات والتعليقات: لهجاتهم المحلية.في أفريقيا، توجد أكثر من 1500 لغة ولغات.لا سيما، يتحدث التونسيون والكتابة بشكل غير رسمي باستخدام الحروف والأرقام اللاتينية بدلا من تلك العربية.في هذه الورقة، نقدم مجموعة بيانات تونسية تونسية تونسية كبيرة ومقرها شائعة مخصصة لتحليل المعنويات.تتكون DataSet من إجمالي التعليقات 100K (عن الأفلام والسياسة والرياضة، إلخ) المشروح يدويا من قبل المتكلمين الأصليين التونسيين على أنها إيجابية وسلبية ومحايدة.نقوم بتقييم مجموعة بياناتنا حول مهمة تحليل المعنويات باستخدام تمثيلات التشفير الثنائية من المحولات (Bert) كطراز لغة سياقي في إصدارها متعدد اللغات (MBERT) كتقنية تضمين، ثم دمج MBERT مع الشبكة العصبية التنافسية (CNN) كمعقل.DataSet متاحة للجمهور.

On various Social Media platforms, people, tend to use the informal way to communicate, or write posts and comments: their local dialects. In Africa, more than 1500 dialects and languages exist. Particularly, Tunisians talk and write informally using Latin letters and numbers rather than Arabic ones. In this paper, we introduce a large common-crawl-based Tunisian Arabizi dialectal dataset dedicated for Sentiment Analysis. The dataset consists of a total of 100k comments (about movies, politic, sport, etc.) annotated manually by Tunisian native speakers as Positive, negative and Neutral. We evaluate our dataset on sentiment analysis task using the Bidirectional Encoder Representations from Transformers (BERT) as a contextual language model in its multilingual version (mBERT) as an embedding technique then combining mBERT with Convolutional Neural Network (CNN) as classifier. The dataset is publicly available.