النمذجة اللغوية المعقدة (MLM) هي واحدة من المهام الفرعية الرئيسية في محاكاة لغة الرؤية. في الإعداد عبر الوسائط، يتم ملثمين الرموز في الجملة بشكل عشوائي، والنموذج يتوقع أن تكون الرموز الممكنة التي أعطتها الصورة والنص. في هذه الورقة، نلاحظ العديد من عي
وب MLM الرئيسية في هذا الإعداد. أولا، حيث تميل التسميات التوضيحية إلى أن تكون قصيرة، في ثلث الجمل لا يتم أخذ عينات من الجمل. ثانيا، غالبية الرموز الملثمين هي التوقف عن الكلمات وعلامات الترقيم، مما يؤدي إلى نقص في الاستخدام للصورة. إننا نحقق في مجموعة من استراتيجيات التقنيع البديلة المحددة لإعداد العرض المتعلق الذي يتناول هذه أوجه القصور، تهدف إلى توصيف أفضل من النص والصورة في التمثيل المستفاد. عند تدريب ما قبل التدريب على نموذج LXMERT، تتحسن استراتيجياتنا البديلة الخاصة بنا باستمرار عبر استراتيجية التقنيع الأصلية على ثلاثة مهام أسفل المصب، خاصة في إعدادات الموارد المنخفضة. علاوة على ذلك، يتفوق نهجنا قبل التدريب بشكل كبير على نموذج الأساس في مهمة التحقيق الفورية المصممة لاستنباط كائنات الصورة. تشير هذه النتائج وتحليلنا إلى أن طريقتنا تسمح باستفادة أفضل من بيانات التدريب.
نماذج الترجمة العصبية متعددة اللغات تعامل مع لغة مصدر واحدة في وقت واحد.ومع ذلك، فقد أظهر العمل السابق أن الترجمة من لغات مصدر متعددة تعمل على تحسين جودة الترجمة.تختلف عن الأساليب الحالية على الترجمة المتعددة المصدر التي تقتصر على سيناريو الاختبار حي
ث تتوفر جمل مصدر مواز من لغات متعددة في وقت الاستدلال، نقترح تحسين الترجمة متعددة اللغات في سيناريو أكثر شيوعا من خلال استغلال جمل المصدر الاصطناعية من اللغات المساعدة.نحن ندرب نموذجنا على شركة Synthetic متعددة المصدر، وتطبيق اخفاء عشوائي لتمكين الاستدلال المرن مع مدخلات مصدر واحد أو مصدر ثنائي.تجارب واسعة النطاق على الصينية / الإنجليزية - اليابانية ومقاييس الترجمة متعددة اللغات على نطاق واسع تشير إلى أن طرازنا يتفوق على خط الأساس متعدد اللغات بشكل كبير من أعلى إلى +4.0 بلو مع أكبر تحسينات على أزواج اللغات المنخفضة أو البعيدة.
