CS-BERT: a pretrained model for customer service dialogues

أظهرت نماذج محولات محول مسبقا واسعة النطاق أداء حديثة (SOTA) في مجموعة متنوعة من مهام NLP.في الوقت الحاضر، تتوفر العديد من النماذج المحددة مسبقا في النكهات النموذجية المختلفة ولغات مختلفة، ويمكن تكييفها بسهولة مع المهمة المصب الأولى.ومع ذلك، فإن عدد محدود فقط من النماذج متاحة لمهام الحوار، وخاصة مهام الحوار الموجهة نحو الأهداف.بالإضافة إلى ذلك، يتم تدريب النماذج المحددة مسبقا على لغة المجال العامة، مما يخلق عدم تطابقا بين لغة المحترفين ومجال المصب المصب.في هذه المساهمة، نقدم CS-Bert، نموذج BERT مسبقا على ملايين الحوارات في مجال خدمة العملاء.نقوم بتقييم CS-Bert على العديد من مهام حوار خدمة العملاء في العديد من مهام خدمة العملاء، وإظهار أن محالقنا في المجال لدينا مفيد مقارنة بالنماذج الأخرى المحددة مسبقا في كل من التجارب الصفري بالرصاص وكذلك في التجارب الصفرية، خاصة في إعداد بيانات منخفض الموارد.

Large-scale pretrained transformer models have demonstrated state-of-the-art (SOTA) performance in a variety of NLP tasks. Nowadays, numerous pretrained models are available in different model flavors and different languages, and can be easily adapted to one's downstream task. However, only a limited number of models are available for dialogue tasks, and in particular, goal-oriented dialogue tasks. In addition, the available pretrained models are trained on general domain language, creating a mismatch between the pretraining language and the downstream domain launguage. In this contribution, we present CS-BERT, a BERT model pretrained on millions of dialogues in the customer service domain. We evaluate CS-BERT on several downstream customer service dialogue tasks, and demonstrate that our in-domain pretraining is advantageous compared to other pretrained models in both zero-shot experiments as well as in finetuning experiments, especially in a low-resource data setting.