نستكشف تطبيق خوارزميات NER-Art-Branch إلى نصوص مركز الاتصال التي تم إنشاؤها ASR. ركز العمل السابق في هذا المجال على استخدام نموذج Bilstm-CRF الذي اعتمد على تضمين الدعوى؛ ومع ذلك، فإن مثل هذا النموذج غير عملي من حيث الكمون واستهلاك الذاكرة. في بيئة الإنتاج، يتطلب المستخدمون النهائيون نماذج منخفضة الكمون التي يمكن دمجها بسهولة في خطوط الأنابيب الموجودة. ولتحقيق هذه الغاية، نقدم نماذجين مختلفة يمكن استخدامها بناء على متطلبات الكمون والدقة للمستخدم. أولا، نقترح مجموعة من النماذج التي تستخدم نماذج لغة محول الحديثة (روبرتا) لتطوير نظام NER عالية الدقة المدربين على مجموعة مشروحة مخصصة من نصوص مركز الاتصال. بعد ذلك، نستخدم نموذجنا المستند إلى المحولات الأفضل أداء لتسمية عدد كبير من النصوص، والذي نستخدمه للتأهيل بنموذج BILSTM-CRF ويزيد من الاستحقاق على مجموعة بيانات المشروح. نظرا لأن هذا النموذج، في حين ليس دقيقا مثل نظيره القائم على المحولات، فهو فعال للغاية في تحديد العناصر التي تتطلب تحسين قانون الخصوصية. علاوة على ذلك، نقترح مخططا شرحا عاما جديدا ل NER في بيئة مركز الاتصال.
We explore the application of state-of-the-art NER algorithms to ASR-generated call center transcripts. Previous work in this domain focused on the use of a BiLSTM-CRF model which relied on Flair embeddings; however, such a model is unwieldy in terms of latency and memory consumption. In a production environment, end users require low-latency models which can be readily integrated into existing pipelines. To that end, we present two different models which can be utilized based on the latency and accuracy requirements of the user. First, we propose a set of models which utilize state-of-the-art Transformer language models (RoBERTa) to develop a high-accuracy NER system trained on custom annotated set of call center transcripts. We then use our best-performing Transformer-based model to label a large number of transcripts, which we use to pretrain a BiLSTM-CRF model and further fine-tune on our annotated dataset. We show that this model, while not as accurate as its Transformer-based counterpart, is highly effective in identifying items which require redaction for privacy law compliance. Further, we propose a new general annotation scheme for NER in the call-center environment.
References used
https://aclanthology.org/
Abstract We take a step towards addressing the under- representation of the African continent in NLP research by bringing together different stakeholders to create the first large, publicly available, high-quality dataset for named entity recognition
Current work in named entity recognition (NER) shows that data augmentation techniques can produce more robust models. However, most existing techniques focus on augmenting in-domain data in low-resource scenarios where annotated data is quite limite
The use of Named Entity Recognition (NER) over archaic Arabic texts is steadily increasing. However, most tools have been either developed for modern English or trained over English language documents and are limited over historical Arabic text. Even
To address a looming crisis of unreproducible evaluation for named entity recognition, we propose guidelines and introduce SeqScore, a software package to improve reproducibility. The guidelines we propose are extremely simple and center around trans
Named Entity Recognition is an essential task in natural language processing to detect entities and classify them into predetermined categories. An entity is a meaningful word, or phrase that refers to proper nouns. Named Entities play an important r