يعد التعرف على الكيان المسمى مهمة أساسية في معالجة اللغة الطبيعية للكشف عن الكيانات وتصنيفها إلى فئات محددة سلفا. كيان هو كلمة ذات معنى، أو عبارة تشير إلى الأسماء المناسبة. تلعب الكيانات المسماة دورا مهما في مهام NLP المختلفة مثل استخراج المعلومات، والرد على الأسئلة والترجمة الآلية. في الترجمة الآلية، غالبا ما تسبب الكيانات المسماة فشل الترجمة بغض النظر عن السياق المحلي، مما يؤثر على جودة الإخراج للترجمة. التعليق الكيانات المسماة هي عملية تستغرق وقتا طويلا ومكلفة خاصة لغات الموارد المنخفضة. أحد الحلول لهذه المشكلة هو استخدام طرق محاذاة Word في شركة موازية ثنائية اللغة تم تفاحها جانب واحد فقط. الهدف هو استخراج الكيانات المسماة في اللغة المستهدفة باستخدام Corpus المشرف من لغة المصدر. في هذه الورقة، قارنا أداء اثنين من أساليب المحاذاة، واللبسائع التناظرية المتناثرة-Diag-Final-Final وتقاطع التناظر، لاستغلال الإسقاط التوضيحي للبرتغالية البرتغالية الإنجليزية البرازيلية للكشف عن الكيانات المسماة في البرتغالية البرازيلية. يتم استخدام نموذج NER الذي تم تدريبه على البيانات المشروحة المستخرجة من أساليب المحاذاة، لتقييم أداء المحاذاين. تظهر النتائج التجريبية أن التعايدة بين التقاطعات قادرة على تحقيق درجات أداء فائقة مقارنة مع النمو - النهائي والنهائي والمشي في البرتغالية البرازيلية.
Named Entity Recognition is an essential task in natural language processing to detect entities and classify them into predetermined categories. An entity is a meaningful word, or phrase that refers to proper nouns. Named Entities play an important role in different NLP tasks such as Information Extraction, Question Answering and Machine Translation. In Machine Translation, named entities often cause translation failures regardless of local context, affecting the output quality of translation. Annotating named entities is a time-consuming and expensive process especially for low-resource languages. One solution for this problem is to use word alignment methods in bilingual parallel corpora in which just one side has been annotated. The goal is to extract named entities in the target language by using the annotated corpus of the source language. In this paper, we compare the performance of two alignment methods, Grow-diag-final-and and Intersect Symmetrisation heuristics, to exploit the annotation projection of English-Brazilian Portuguese bilingual corpus to detect named entities in Brazilian Portuguese. A NER model that is trained on annotated data extracted from the alignment methods, is used to evaluate the performance of aligners. Experimental results show the Intersect Symmetrisation is able to achieve superior performance scores compared to the Grow-diag-final-and heuristic in Brazilian Portuguese.
References used
https://aclanthology.org/
Current work in named entity recognition (NER) shows that data augmentation techniques can produce more robust models. However, most existing techniques focus on augmenting in-domain data in low-resource scenarios where annotated data is quite limite
Abstract We take a step towards addressing the under- representation of the African continent in NLP research by bringing together different stakeholders to create the first large, publicly available, high-quality dataset for named entity recognition
Abstract We study learning named entity recognizers in the presence of missing entity annotations. We approach this setting as tagging with latent variables and propose a novel loss, the Expected Entity Ratio, to learn models in the presence of syste
We explore the application of state-of-the-art NER algorithms to ASR-generated call center transcripts. Previous work in this domain focused on the use of a BiLSTM-CRF model which relied on Flair embeddings; however, such a model is unwieldy in terms
To address a looming crisis of unreproducible evaluation for named entity recognition, we propose guidelines and introduce SeqScore, a software package to improve reproducibility. The guidelines we propose are extremely simple and center around trans