أسئلة البحث الحديثة أهمية الاهتمام الذاتي لمنتج المنتج في نماذج المحولات ويظهر أن معظم رؤساء الاهتمام تعلم أنماطا موضعية بسيطة. في هذه الورقة، ندفع أبعد من ذلك في خط البحث هذا واقتراح آلية بديلة جديدة عن النفس: الاهتمام المتكرر (ران). تتعلم RAN بشكل
مباشر أوزان الاهتمام دون أي تفاعل رمزي إلى رمز ويحسن قدرتها على تفاعل الطبقة إلى الطبقة. عبر مجموعة واسعة من التجارب في 10 مهام ترجمة آلية، نجد أن نماذج RAN تنافسية وتفوق نظيرها المحول في بعض السيناريوهات، مع عدد أقل من المعلمات ووقت الاستدلال. خاصة، عند تطبيق ركض إلى فك ترميز المحولات، يجلب التحسينات المتسقة عن طريق حوالي +0.5 بلو في 6 مهام الترجمة و +1.0 Bleu على مهمة الترجمة التركية الإنجليزية. بالإضافة إلى ذلك، نجرينا تحليلا مكثفا بشأن أوزان الاهتمام في ركض لتأكيد المعقولية. ران لدينا هو بديل واعد لبناء نماذج NMT أكثر فعالية وكفاءة.
يعرض عدم وجود بيانات تدريبية تحديا كبيرا لتحجيم فهم اللغة المنطوقة لغات الموارد المنخفضة.على الرغم من أن نهج تكبير البيانات المختلفة قد اقترحت توليف البيانات التدريبية في لغات مستهدفة منخفضة الموارد، فإن مجموعات البيانات المعززة غالبا ما تكون صاخبة،
وبالتالي تعيق أداء نماذج SLU.في هذه الورقة نركز على تخفيف الضوضاء في البيانات المعززة.نقوم بتطوير نهج تدريب Denosising.يتم تدريب نماذج متعددة مع البيانات التي تنتجها الطرق المعززة المختلفة.توفر هذه النماذج إشارات الإشراف لبعضها البعض.تظهر النتائج التجريبية أن أسلوبنا تتفوق على الحالة القائمة من الفن الموجودة بمقدار 3.05 و 4.24 نقطة مئوية عن مجموعات بيانات قياسية على التوالي.سيتم تقديم الرمز مفتوح المصادر على جيثب.
