ترغب بنشر مسار تعليمي؟ اضغط هنا

تعلم ترجمة آلة نواة النواة مع أمثلة استرجاع

Learning Kernel-Smoothed Machine Translation with Retrieved Examples

236   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

كيفية التكيف بشكل فعال طرازات الترجمة الآلية (NMT) وفقا للحالات الناشئة دون إعادة التدريب؟على الرغم من النجاح الكبير للترجمة الآلية العصبية، فإن تحديث النماذج المنتشرة عبر الإنترنت لا تزال تحديا.الأساليب غير المعلمة القائمة التي تسترجع الأمثلة المماثلة من قاعدة بيانات لتوجيه عملية الترجمة تعد واعدة ولكنها عرضة للإفراط في الأمثلة المستردة.ومع ذلك، فإن الأساليب غير المعلمة عرضة للإفراط في الأمثلة المستردة.في هذا العمل، نقترح تعلم الترجمة المنحزة بالنواة مع استعادة مثال (Kster)، وهي طريقة فعالة لتكييف نماذج الترجمة الآلية العصبية عبر الإنترنت.تظهر التجارب في مجال تكيف المجال ومجموعات بيانات الترجمة متعددة المجالات أنه حتى دون إعادة تدريب باهظة الثمن، فإن KTERS قادرة على تحقيق تحسن قدره 1.1 إلى 1.5 درجات بلو عبر أفضل طرق التكيف الموجودة عبر الإنترنت.يتم إصدار الرمز والنماذج المدربة في https://github.com/jiangqn/kster.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

ينشأ التعلم القليل من الرصاص في سيناريوهات عملية مهمة، كما هو الحال عندما يحتاج نظام فهم اللغة الطبيعية إلى تعلم ملصقات دلالية جديدة للنشاط الناشئ والموارد النادر. في هذه الورقة، نستكشف الأساليب القائمة على استرجاع مهام تعبئة النوايا وملء الفتحات في إعدادات قليلة. تتكبد الأساليب المستندة إلى الاسترداد تنبؤات بناء على الأمثلة المسمى في مؤشر الاسترجاع مماثلة للمدخلات، وبالتالي يمكن أن تتكيف مع مجالات جديدة ببساطة عن طريق تغيير الفهرس دون الحاجة إلى إعادة تدريب النموذج. ومع ذلك، فمن غير تافهة لتطبيق هذه الأساليب على المهام مع مساحة تسمية معقدة مثل ملء الفتحة. تحقيقا لهذه الغاية، نقترح طريقة استرجاع مدفوعة المستوى التي تتعلم تمثيلات محكسية مماثلة للتمثيل مع نفس التسمية عبر هدف Softmax Batch-Softmax الرواية. في وقت الاستدلال، نستخدم ملصقات المسافات المستردة لبناء الهيكل النهائي بأعلى درجة التجميع. تتفوق طريقةنا على الأنظمة السابقة في مختلف إعدادات القليل من الطوائم على معايير Clinc and Senips.
شاركنا في جميع المسارات لمهمة الترجمة الآلية ل WMT 2021: وحدة المعالجة المركزية ذات CPU أحادية النواة، وحدة المعالجة المركزية متعددة النواة، وأجهزة GPU مع شروط الإنتاجية والكمولية.تجمع تقاريرنا العديد من استراتيجيات الكفاءة: تقطير المعرفة، وحدة فك تر ميز وحدة بسيطة متكررة بسيطة (SSRU) مع طبقتين أو طبقتين، بقلين من المعجمين، وتنسيقات عدودية أصغر، وتقليم.بالنسبة لمسار وحدة المعالجة المركزية، استخدمنا طرازات 8 بت كمية.بالنسبة لمسار GPU، جربنا أعداد صحيحة FP16 و 8 بت في عشرات الموانئ.بعض عمليات التقديمات لدينا تحسين الحجم عبر سجل سجل 4 بت وحذف قائمة مختصرة معجمية.لقد مددنا تشذيم أكبر أجزاء من الشبكة، مع التركيز على تشذيب المكونات ومستوى الحظر الذي يحسن في الواقع السرعة على عكس تقليم المعامل الحكيم.
نحن نحقق في التعلم التحويل بناء على نماذج الترجمة الآلية المدربة مسبقا للترجمة بين (الموارد المنخفضة) اللغات المشابهة.هذا العمل هو جزء من مساهمتنا في المهمة المشتركة لغات WMT 2021 بمثابة مهمة مشتركة حيث أرسلنا نماذج لأزواج اللغة المختلفة، بما في ذلك الفرنسية-بامبارا والإسبانية الكاتالونية والإسبانية والبرتغالية في كلا الاتجاهين.نماذجنا للكاتالان الإسبانية (82.79 بلو) والبرتغالية-الإسبانية (87.11 بلو) المرتبة الأولى في تقييم المهام المشتركة الرسمية، ونحن الفريق الوحيد لتقديم نماذج لأزواج بامبارا الفرنسية.
تعلم الترجمة الآلية العصبية متعددة اللغات (MNMT) ترجمة أزواج متعددة اللغات بنموذج واحد، يحتمل أن يحسن كل من الدقة وكفاءة الذاكرة للنماذج المنتشرة. ومع ذلك، فإن عدم اختلال البيانات الثقيلة بين اللغات يعوق النموذج من الأداء بشكل موحد عبر أزواج اللغة. ف ي هذه الورقة، نقترح هدفا تعليميا جديدا ل MNMT بناء على التحسين القوي التويضي، مما يقلل من الخسارة المتوقعة الأسوأ في مجموعة أزواج اللغة. نوضح كذلك كيفية تحسين هذا الهدف من الناحية العملية للترجمة الكبيرة باستخدام مخطط أفضل استجابة مزخرف، وهو فعاليتان فعالة وتتحمل تكلفة حسابية إضافية ضئيلة مقارنة بقليل المخاطر التجريبية القياسية. نقوم بإجراء تجارب مكثفة على ثلاث مجموعات من اللغات من مجموعة بيانات وتظهر أن طريقتنا تتفوق باستمرار على أساليب خطية قوية من حيث المتوسط ​​والأداء لكل لغة تحت كلا من إعدادات الترجمة متعددة إلى واحدة وواحدة متعددة.
عند بناء أنظمة الترجمة الآلات، يحتاج المرء في كثير من الأحيان إلى الاستفادة القصوى من مجموعات غير متجانسة من البيانات الموازية في التدريب، والتعامل مع المدخلات بقوة من المجالات غير المتوقعة في الاختبار.جذبت هذا السيناريو متعدد المجالات الكثير من العم ل الحديث الذي يقع تحت المظلة العامة لتعلم النقل.في هذه الدراسة، نشجع الترجمة متعددة المجالات، بهدف صياغة الدوافع لتطوير هذه الأنظمة والتوقعات المرتبطة فيما يتعلق بالأداء.تبين تجاربنا مع عينة كبيرة من أنظمة المجال متعددة أن معظم هذه التوقعات تلتقي بالكاد وتشير إلى أن هناك حاجة إلى مزيد من العمل لتحليل السلوك الحالي لأنظمة المجالات المتعددة وجعلها تمسك بوعودها بالكامل.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا