تعتمد أنظمة متعددة اللغات متعددة اللغات على المفردات المشتركة التي تغطي جميع اللغات التي تغطي بما فيه الكفاية. تحقيقا لهذه الغاية، فإن النهج البسيط والمستعمل بشكل متكرر يستفيد من مفهليات الكلمات الفرعية التي تم إنشاؤها بشكل مشترك على عدة لغات. نحن نف
ترض أن مثل هذه المفردات هي فرعية نفسها بسبب الإيجابيات الخاطئة (الكلمات الفرعية المماثلة مع معاني مختلفة عبر اللغات) والسلبيات الخاطئة (كلمات فرعية مختلفة مع معاني مماثلة). لمعالجة هذه المشكلات، نقترح رسم الخرائط عن طريق الكلمات الفرعية ومثبتة عبر اللغات (SMALA)، وهي طريقة لبناء مخصصات الكلمات الفرعية ثنائية اللغة. تقوم SMALA باستخراج محاذاة الكلمات الفرعية باستخدام تقنية رسم الخرائط غير المزودة بعملية رسم الخرائط واستخدامها لإنشاء مراسي عبر اللغات بناء على أوجه تشابه الكلمات الفرعية. نوضح فوائد SMALA للاستدلال اللغوي للغة الطبيعية المتبادلة (XNLI)، حيث يحسن تحويل صفرية إلى لغة غير مرئية دون بيانات مهمة، ولكن فقط من خلال تقاسم تضييق الكلمات الفرعية. علاوة على ذلك، في الترجمة الآلية العصبية، نوضح أن مفردات الكلمة الفرعية المشتركة التي تم الحصول عليها مع Smala تؤدي إلى أعلى درجات بلو على أحكام تحتوي على العديد من الإيجابيات الخاطئة والسلبيات الخاطئة.
نقدم نهجا جديدا محاطا جديدا موجه للنمذجة اللغوية متعددة الوثائق، حيث تتضمن أفكيرا رئيسيتين في النمذجة اللغوية المشنقة بالهدف الإشراف على الذات.أولا، بدلا من النظر في الوثائق في العزلة، نحن نتفق مع مجموعات من المستندات المتعددة المتعددة، تشجيع النموذج
على تعلم العلاقات عبر الوثائق.ثانيا، نحسن أكثر من المحولات الطويلة المدى حديثا عن طريق إدخال اهتمام عالمي ديناميكي يتمكن من الوصول إلى الإدخال بأكمله للتنبؤ بالرموز الملثم.نقوم بإصدار CDLM (نموذج اللغة عبر المستندات)، وهو نموذج لغة عام جديد لإعداد متعدد الوثائق يمكن تطبيقه بسهولة على مهام المصب.يوضح تحليلنا الواسع أن كلا الأفكار ضرورية لنجاح CDLM، والعمل في تآزر لتعيين نتائج جديدة من الفنون الجديدة لعدة مهام متعددة النص.
