التعاطفية Bert2bert نموذج المحادثة: تعلم توليد اللغة العربية مع القليل من البيانات

تمكين السلوك التعرفي في وكلاء الحوار باللغة العربية هو جانب مهم في بناء نماذج المحادثة يشبه الإنسان. في حين أن معالجة اللغة العربية الطبيعية قد شهدت تطورات كبيرة في فهم اللغة الطبيعية (NLU) مع نماذج اللغة مثل أرابيرت، فإن توليد اللغة الطبيعية (NLG) لا تزال تحديا. تعد أوجه القصور النموذجية لنماذج فك تشفير NLG في المقام الأول إلى عدم وجود مجموعات البيانات العربية مناسبة لتدريب نماذج NLG مثل عوامل المحادثة. للتغلب على هذه المسألة، نقترح فك ترميز التركيب المستندة إلى المحولات مع معلمات أرابتير. من خلال تهيئة أوزان التشفير والكشف عن الأوزان المدربة مسبقا مسبقا، كان طرازنا قادرا على الاستفادة من نقل المعرفة وزيادة الأداء في توليد الاستجابة. لتمكين التعاطف في نموذج المحادثة لدينا، نربطها باستخدام مجموعة بيانات ArabithatheticTialogues وتحقيق الأداء العالي في توليد الاستجابة المتعاطفة. على وجه التحديد، حقق نموذجنا قيمة حيرة منخفضة تتراوح بين 17.0 وزيادة في 5 نقاط بلو مقارنة بالنموذج السابق للدولة السابقة. أيضا، تم تصنيف نموذجنا المقترح بشدة بنسبة 85 مقيم بشري، والتحقق من قادرته عالية في إظهار التعاطف مع توليد الاستجابات ذات الصلة والطلاقة في إعدادات المجال المفتوح.

Enabling empathetic behavior in Arabic dialogue agents is an important aspect of building human-like conversational models. While Arabic Natural Language Processing has seen significant advances in Natural Language Understanding (NLU) with language models such as AraBERT, Natural Language Generation (NLG) remains a challenge. The shortcomings of NLG encoder-decoder models are primarily due to the lack of Arabic datasets suitable to train NLG models such as conversational agents. To overcome this issue, we propose a transformer-based encoder-decoder initialized with AraBERT parameters. By initializing the weights of the encoder and decoder with AraBERT pre-trained weights, our model was able to leverage knowledge transfer and boost performance in response generation. To enable empathy in our conversational model, we train it using the ArabicEmpatheticDialogues dataset and achieve high performance in empathetic response generation. Specifically, our model achieved a low perplexity value of 17.0 and an increase in 5 BLEU points compared to the previous state-of-the-art model. Also, our proposed model was rated highly by 85 human evaluators, validating its high capability in exhibiting empathy while generating relevant and fluent responses in open-domain settings.