في تطبيقات خدمة العملاء الخاصة بالمجال على الإنترنت، تكافح العديد من الشركات بنشر نماذج NLP المتقدمة بنجاح، بسبب توفر وضوضاء محدودة في مجموعات البيانات الخاصة بهم.في حين أن الأبحاث المسبقة أظهرت إمكانية ترحيل النماذج الكبيرة المسبقة للمجال المفتوحة للمهام الخاصة بالمهام الخاصة بالمجال، فإن استراتيجيات التدريب المناسبة (قبل) لم يتم تقييمها بشدة في إعدادات خدمة العملاء في وسائل التواصل الاجتماعي، خاصة في ظل ظروف متعددة اللغات.نحن نتعامل مع هذه الفجوة من خلال جمع وجعة إعلامية اجتماعية متعددة اللغات تحتوي على محادثات خدمة العملاء (تغريدات 865K)، ومقارنة خطوط أنابيب مختلفة من الأساليب المحددة والفصل، وتطبيقها على 5 مهام مختلفة مختلفة.نوضح أنه يلاحظ نموذج محول عام متعدد اللغات على مجموعة بياناتنا داخل المجال، قبل التصميم في مهام نهاية محددة، يعزز الأداء باستمرار، خاصة في الإعدادات غير الإنجليزية.
In online domain-specific customer service applications, many companies struggle to deploy advanced NLP models successfully, due to the limited availability of and noise in their datasets. While prior research demonstrated the potential of migrating large open-domain pretrained models for domain-specific tasks, the appropriate (pre)training strategies have not yet been rigorously evaluated in such social media customer service settings, especially under multilingual conditions. We address this gap by collecting a multilingual social media corpus containing customer service conversations (865k tweets), comparing various pipelines of pretraining and finetuning approaches, applying them on 5 different end tasks. We show that pretraining a generic multilingual transformer model on our in-domain dataset, before finetuning on specific end tasks, consistently boosts performance, especially in non-English settings.
References used
https://aclanthology.org/
In a typical customer service chat scenario, customers contact a support center to ask for help or raise complaints, and human agents try to solve the issues. In most cases, at the end of the conversation, agents are asked to write a short summary em
Large-scale pretrained transformer models have demonstrated state-of-the-art (SOTA) performance in a variety of NLP tasks. Nowadays, numerous pretrained models are available in different model flavors and different languages, and can be easily adapte
Dialogue summarization has drawn much attention recently. Especially in the customer service domain, agents could use dialogue summaries to help boost their works by quickly knowing customer's issues and service progress. These applications require s
We describe our straight-forward approach for Tasks 5 and 6 of 2021 Social Media Min- ing for Health Applications (SMM4H) shared tasks. Our system is based on fine-tuning Dis- tillBERT on each task, as well as first fine- tuning the model on the othe
When fine-tuning pretrained models for classification, researchers either use a generic model head or a task-specific prompt for prediction. Proponents of prompting have argued that prompts provide a method for injecting task-specific guidance, which