مجردة مؤخرا، اكتسبت نماذج محولات متعددة الوسائط شعبية لأن أدائها على المهام المصب التي تشير إلى أنهم يتعلمون تمثيلات غنية بصرية لغوية.مع التركيز على مهام استرجاع الصور صفرية، ندرس ثلاثة عوامل مهمة يمكن أن تؤثر على جودة التمثيلات المستفادة: محاولات ال
بيانات، آلية الاهتمام، وظائف الخسائر.من خلال نماذج الاحتياطية على ست مجموعات بيانات، نلاحظ أن ضوضاء البيانات وتشابه لغة له مهمتنا المصب لدينا هي مؤشرات مهمة لأداء النموذج.من خلال التحليل المعماري، نتعلم أن النماذج ذات آلية اهتمام متعددة الوسائط يمكن أن تفوق النماذج العميقة مع آليات الاهتمام الخاصة بالطريقة.أخيرا، نظهر أن الخسائر الناجحة للتناقض المستخدمة في أدب التعلم الإشراف على الذات لا تسفر عن مكاسب أداء مماثلة عند استخدامها في محولات متعددة الوسائط.
الملخص في هذا العمل، ندرس قدرة نماذج NER لاستخدام المعلومات السياقية عند التنبؤ بنوع كيان غامض.نقدم NRB، اختبار جديد مصمم بعناية لتشخيص تحيز الانتظام من النماذج NER.تشير نتائجنا إلى أن جميع النماذج الحديثة التي اختبرناها إظهار مثل هذا التحيز؛نماذج Be
rt Tuned Tunded بشكل كبير تفوقها بشكل كبير (LSTM-CRF) على NRB، على الرغم من وجود أداء قابلة للمقارنة (أحيانا أقل) على المعايير القياسية.لتخفيف هذا التحيز، نقترح طريقة تدريب نموذجية نماذج جديدة تضيف الضوضاء المخدرة القابلة للتعلم إلى بعض الكيانات، وبالتالي فرض النماذج للتركيز بقوة أكبر على الإشارة السياقية، مما يؤدي إلى مكاسب كبيرة على NRB.الجمع بينه مع استراتيجيات تدريبية أخرى، وتعزيز البيانات وتجميد المعلمة، يؤدي إلى مزيد من المكاسب.
