كامبريدج في Semeval-2021 المهمة 2: النموذج WIC العصبي مع زيادة البيانات واستكشاف التمثيل

تصف هذه الورقة نظام فريق Cambridge المقدم إلى المهمة المشتركة SEMEVAL-2021 على الغموض المتعدد اللغات واللغة الاجتماعية في السياق.بناء فوق نموذج لغة ملثم مسبقا مدرب مسبقا، يتم تدريب نظامنا أولا مسبقا على بيانات خارج المجال، ثم ضبطها على بيانات داخل المجال.نوضح فعالية استراتيجية التدريب التي تتراوح خطوتين مقترح وفوائد تكبير البيانات من كل من الأمثلة القائمة والموارد الجديدة.نحن مزيد من التحقيق في التمثيلات المختلفة وإظهار أن إضافة الميزات المستندة إلى عن بعد مفيدة في مهمة الغموض للكلمة في السياق.ينتج نظامنا نتائج تنافسية للغاية في المسار المتبادل دون تدريب على أي بيانات عبر اللغات؛وتحقق نتائج أحدث النتائج في المسار متعدد اللغات، الترتيب الأول في لغتين (العربية والروسية) والثانية في الفرنسية من أصل 171 نظام مقدم.

This paper describes the system of the Cambridge team submitted to the SemEval-2021 shared task on Multilingual and Cross-lingual Word-in-Context Disambiguation. Building on top of a pre-trained masked language model, our system is first pre-trained on out-of-domain data, and then fine-tuned on in-domain data. We demonstrate the effectiveness of the proposed two-step training strategy and the benefits of data augmentation from both existing examples and new resources. We further investigate different representations and show that the addition of distance-based features is helpful in the word-in-context disambiguation task. Our system yields highly competitive results in the cross-lingual track without training on any cross-lingual data; and achieves state-of-the-art results in the multilingual track, ranking first in two languages (Arabic and Russian) and second in French out of 171 submitted systems.