محولات المحولات المجمدة مسبقا لترجمة لغة الإشارة العصبية

أحد التحديات الرئيسية في ترجمة لغة الإشارة من لغة الإشارة إلى لغة منطوقة هو عدم وجود كوربورا متوازي. حققت الأعمال الحديثة نتائج واعدة على مجموعة بيانات RWTH-Phoenix-Weather 2014T، والتي تتكون من أكثر من ثمانية آلاف من الجمل الموازية بين لغة الإشارة الألمانية والألمانية. ومع ذلك، من منظور الترجمة الآلية العصبية، لا تزال هذه مجموعة بيانات صغيرة. لتحسين أداء النماذج المدربة على مجموعات البيانات الصغيرة، يمكن استخدام التعلم التحويل. في حين أن هذا قد تم تطبيقه مسبقا في ترجمة لغة الإشارة لاستخراج ميزة، فإن أفضل ما في معرفتنا، لم يتم التحقيق في نماذج اللغة المحددة مسبقا. نستخدم نماذج BERT-Base و MBART-50 لتهيئة فيديو لغة الإشارة لنموذج الترجمة النصية باللغة المنطوقة. لتخفيف الزيادة، نحن نطبق تقنية المحولات المجمدة مسبقا: نحن نجمد غالبية المعلمات أثناء التدريب. باستخدام نموذج Bertrained Bertrain، نحن نتفوق على خط الأساس المدربين من الصفر بنسبة 1 إلى 2 BLEU-4. تظهر نتائجنا أن نماذج اللغة المحددة مسبقا يمكن استخدامها لتحسين أداء ترجمة لغة الإشارة وأن أنماط اهتمام الذات في نقل Bert في صفر تسديدة إلى ترميز ونماذج ترجمة لغة الإشارة.