تصف هذه الورقة نظام فريق Cambridge المقدم إلى المهمة المشتركة SEMEVAL-2021 على الغموض المتعدد اللغات واللغة الاجتماعية في السياق.بناء فوق نموذج لغة ملثم مسبقا مدرب مسبقا، يتم تدريب نظامنا أولا مسبقا على بيانات خارج المجال، ثم ضبطها على بيانات داخل المجال.نوضح فعالية استراتيجية التدريب التي تتراوح خطوتين مقترح وفوائد تكبير البيانات من كل من الأمثلة القائمة والموارد الجديدة.نحن مزيد من التحقيق في التمثيلات المختلفة وإظهار أن إضافة الميزات المستندة إلى عن بعد مفيدة في مهمة الغموض للكلمة في السياق.ينتج نظامنا نتائج تنافسية للغاية في المسار المتبادل دون تدريب على أي بيانات عبر اللغات؛وتحقق نتائج أحدث النتائج في المسار متعدد اللغات، الترتيب الأول في لغتين (العربية والروسية) والثانية في الفرنسية من أصل 171 نظام مقدم.
This paper describes the system of the Cambridge team submitted to the SemEval-2021 shared task on Multilingual and Cross-lingual Word-in-Context Disambiguation. Building on top of a pre-trained masked language model, our system is first pre-trained on out-of-domain data, and then fine-tuned on in-domain data. We demonstrate the effectiveness of the proposed two-step training strategy and the benefits of data augmentation from both existing examples and new resources. We further investigate different representations and show that the addition of distance-based features is helpful in the word-in-context disambiguation task. Our system yields highly competitive results in the cross-lingual track without training on any cross-lingual data; and achieves state-of-the-art results in the multilingual track, ranking first in two languages (Arabic and Russian) and second in French out of 171 submitted systems.
References used
https://aclanthology.org/
This paper presents the GX system for the Multilingual and Cross-lingual Word-in-Context Disambiguation (MCL-WiC) task. The purpose of the MCL-WiC task is to tackle the challenge of capturing the polysemous nature of words without relying on a fixed
In this paper, we introduce the first SemEval task on Multilingual and Cross-Lingual Word-in-Context disambiguation (MCL-WiC). This task allows the largely under-investigated inherent ability of systems to discriminate between word senses within and
This paper describes and examines different systems to address Task 6 of SemEval-2021: Detection of Persuasion Techniques In Texts And Images, Subtask 1. The task aims to build a model for identifying rhetorical and psycho- logical techniques (such a
We describe the University of Alberta systems for the SemEval-2021 Word-in-Context (WiC) disambiguation task. We explore the use of translation information for deciding whether two different tokens of the same word correspond to the same sense of the
This paper describes our submission to the SemEval-2021 shared task on Lexical Complexity Prediction. We approached it as a regression problem and present an ensemble combining four systems, one feature-based and three neural with fine-tuning, freque