تصف هذه الورقة نظام فريق Cambridge المقدم إلى المهمة المشتركة SEMEVAL-2021 على الغموض المتعدد اللغات واللغة الاجتماعية في السياق.بناء فوق نموذج لغة ملثم مسبقا مدرب مسبقا، يتم تدريب نظامنا أولا مسبقا على بيانات خارج المجال، ثم ضبطها على بيانات داخل ال
مجال.نوضح فعالية استراتيجية التدريب التي تتراوح خطوتين مقترح وفوائد تكبير البيانات من كل من الأمثلة القائمة والموارد الجديدة.نحن مزيد من التحقيق في التمثيلات المختلفة وإظهار أن إضافة الميزات المستندة إلى عن بعد مفيدة في مهمة الغموض للكلمة في السياق.ينتج نظامنا نتائج تنافسية للغاية في المسار المتبادل دون تدريب على أي بيانات عبر اللغات؛وتحقق نتائج أحدث النتائج في المسار متعدد اللغات، الترتيب الأول في لغتين (العربية والروسية) والثانية في الفرنسية من أصل 171 نظام مقدم.
تصف هذه الورقة التقديم الخاص بنا إلى مهمة Semeval 2021 2. نحن نقارن قاعدة XLM-Roberta وكبير في إعدادات القليل من اللقطات والطلق الرصاص واختبار فعاليا فعالية استخدام مصنف جيران K-Enter في إعداد القليل من القصاصات بدلا منأكثر التقليدية متعددة الطبقات p
erceptron.تظهر تجاربنا على كل من البيانات متعددة اللغات واللغة أن XLM-Roberta Large، على عكس الإصدار الأساسي، يمكن أن يكون قادرا على نقل التعلم بشكل أكثر فعالية في بيض بضع طلقة وأن مصنف الجيران K-Neave هو في الواقعمصنف أكثر قوة من بيرسيبترون متعدد الطبقات عند استخدامه في التعلم القليل من اللقطة.
