في العمل السابق، فقد تبين أن بيرت يمكنه محاذاة الجمل المتبادلة بشكل كاف على مستوى الكلمة.نحن هنا التحقيق فيما إذا كان بإمكان بيرت أيضا أن تعمل أيضا كحاذاة على مستوى Char.اللغات التي تم فحصها هي اللغة الإنجليزية والإنجليزية المزيفة والألمانية واليونان
ية.نظهر أن اللغتين الوثيقة هي، فإن بيرت أفضل يمكن أن يحاذيها على مستوى الشخصية.يعمل BERT بالفعل بشكل جيد باللغة الإنجليزية إلى محاذاة اللغة الإنجليزية المزيفة، ولكن هذا لا يعمم اللغات الطبيعية إلى نفس المدى.ومع ذلك، يبدو أن قرب لغتين عامين عاملا.اللغة الإنجليزية ترتبط بالألمانية أكثر من اليونانية وينعكس ذلك في مدى تحريزه جيدا؛اللغة الإنجليزية إلى الألمانية أفضل من الإنجليزية إلى اليونانية.ندرس إجراءات متعددة وإظهار أن مصفوفات التشابه اللغات الطبيعية تظهر العلاقات الأضعفين بصرف النظر عن لغتين.
في مجال معالجة اللغة الطبيعية، من المعروف أن الكفارات فعالة في تحسين الأداء.تحلل هذه الورقة كيف تؤثر فرقة نماذج الترجمة الآلية العصبية (NMT) على تحسين الأداء من خلال تصميم مختلف الإعدادات التجريبية (I.E.، Intra-، Inter-Ertern-Erbergble، وغير غير التق
اعد).لفحص متعمق، نقوم بتحليل كل طريقة فرقة فيما يتعلق بالعديد من جوانب مثل نماذج الاهتمام المختلفة واستراتيجيات VOCAB.تظهر النتائج التجريبية أن الكوغرات لا يؤدي دائما إلى زيادة الأداء وتقديم النتائج السلبية الجديرة بالملاحظة.
أصبحت السيارات التلقائية النصية النصية (VAES) سيئة السمعة بالنسبة للانهيار الخلفي، وهي ظاهرة حيث يتعلم وحدة فك ترميز النموذج أن تجاهل الإشارات من التشفير.نظرا لأنه من المعروف أن الانهيار الخلفي يتم تفاقمه من خلال أجهزة فك ترميز التعبير، فقد شهدت المح
ولات اعتمادا محدودا كمكون مكونات في VAES النصية.الدراسات القائمة التي تضم المحولات في مبيعات النصوص (لي وآخرون، 2020؛ فانغ وآخرون.، 2021) تخفيف الانهيار الخلفي باستخدام محاولات ضخمة، وهي تقنية غير متوفرة لمعظم مجتمع البحث دون موارد حوسبة واسعة النطاق.نقدم خطة تدريبية بسيطة من مرحلتين لتحويل محول تسلسل إلى تسلسل إلى VIE مع Finetuning فقط.النموذج اللغوي الناتج هو تنافسية مع VAES المستندة إلى المحولات بشكل كبير في بعض المقاييس الداخلية مع الوقوع على الآخرين.لتسهيل التدريب، استكشفنا بشكل شامل تأثير تقنيات تخفيف الطيام الخلفي المشترك في الأدب.نطلق سرد كودنا للاستكشاف.
