تعلم وتحليل ترتيب الجيل لنماذج التسلسل غير المعروض

حققت نماذج التسلسل العصبي غير المعروضة أداء تنافسية مع نماذج التسلسل الموجهة للحكومة الموجهة التي تولد رتيبا من اليسار إلى اليمين في مهام الترجمة الآلية. في هذا العمل، ندرب السياسة التي تتعلم طلب الجيل لنموذج الترجمة المدربة مسبقا مسبقا، عبر التعلم التعزيز. نظا على أن الترجمات التي تركتها أوامرنا المستفادة تحقق درجات بلو أعلى من النواتج المشفرة من اليسار إلى اليمين أو فك شفرة من قبل النظام المستفيد من منصيموف وآخرون. (2019) على مهمة الترجمة الألمانية والإنجليزية WMT'14. فيما يتعلق بالأمثلة بأقصى قدر من المصدر والمستهدف لمدة 30 من المهام الإنجليزية من DE-en و WMT'16 الإنجليزية الرومانية، فإن أمرنا المستفيد يتفوق على جميع أوامر الجيل المجهرية على ثلاثة من أربع أزواج لغوية. نقوم بالتحليل بعناية أنماط الطلب المستفادة من خلال التحليل النوعي والكمي. نظهر أن سياستنا تتبع عموما طلبا خارجيا إلى داخلي، توقع أكثر الأيسر والأيمن - معظم المناصب أولا، ثم تتحرك نحو المنتصف أثناء تخطي الكلمات الأقل أهمية في البداية. علاوة على ذلك، فإن السياسة تتوقع عادة مواقع لهيكل مؤسس بنزلي واحد في خطوات متتالية. نعتقد أن نتائجنا قد توفر المزيد من الأفكار حول آلية نماذج الجيل غير المعردة وتشجيع المزيد من البحث في هذا الاتجاه.