ترغب بنشر مسار تعليمي؟ اضغط هنا

اكتشاف التمثيل Sprachbund للتدريب المسبق متعدد اللغات

Discovering Representation Sprachbund For Multilingual Pre-Training

199   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

أظهرت النماذج المتعددة اللغات المدربة مسبقا فعاليتها في العديد من مهام NLP متعددة اللغات وتمكن من نقل الصفر أو القليل من التحويلات من لغات الموارد العالية إلى الموارد المنخفضة. ومع ذلك، نظرا للاختلافات والتناقضات النموذجية الكبرى بين بعض اللغات، عادة ما تؤدي هذه النماذج بشكل سيء على العديد من اللغات والإعدادات المتبادلة، والتي تظهر صعوبة في تعلم نموذج واحد للتعامل مع لغات متنوعة واسعة النظافة في نفس الوقت. لتخفيف هذه المشكلة، نقدم خط أنابيب ما قبل اللغات متعددة اللغات. نقترح إنشاء تمثيل لغة من النموذج متعدد اللغات مسبقا وإجراء التحليل اللغوي لإظهار أن تشابه تمثيل اللغة يعكس التشابه اللغوي من وجهات نظر متعددة، بما في ذلك أسرة اللغة، Sprachbund الجغرافية، وقاميا، وبناء جملة. ثم نحن ألمع جميع اللغات المستهدفة في مجموعات متعددة وتسمية كل مجموعة كتمثيل Sprachbund. وهكذا، من المفترض أن تعزز اللغات في نفس التمثيل SPRACHBUND بعضها البعض في كل من التدريب المسبق والضبط بشكل جيد لأنها تشترك في التشابه اللغوي الغني. نحن ندرج مسبقا نموذج واحد متعدد اللغات لكل تمثيل Sprachbund. يتم إجراء التجارب على المعايير المتبادلة وتحقيق تحسينات كبيرة مقارنة مع خطوط الأساس القوية.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

نقترح طريقة لتقطير معنى المعنى اللاإرادي للغات من تشفير الجملة متعددة اللغات.عن طريق إزالة المعلومات الخاصة باللغة من التضمين الأصلي، نسترجع التضمين الذي يمثله بشكل كامل معنى الجملة.تعتمد الطريقة المقترحة فقط على Corpora الموازي دون أي شروح بشرية.يتي ح Edgedding المعنى لدينا تقدير تشابه تشابه التشابه من خلال حساب التشابه الجيبائي البسيط.النتائج التجريبية على حد كلا تقدير الجودة للترجمة الآلية ومهام التشابه النصي من الدلالات المتبادلة - أن طريقتنا تتفوق باستمرار على خطوط الأساس القوية باستخدام التضمين الأصلي متعدد اللغات.تعمل طريقتنا باستمرار على تحسين أداء أي تشفير جملة متعددة اللغات المدربة مسبقا، حتى في أزواج لغة الموارد المنخفضة حيث تتوفر عشرات الآلاف فقط من أزواج الجملة بالتوازي.
أظهرت الدراسات الحديثة أن النماذج المتبادلة المدربة مسبقا تحقق أداء مثير للإعجاب في المهام المتقاطعة المتبادلة. يستفيد هذا التحسن من تعلم كمية كبيرة من مونوللقي والموازيات. على الرغم من أنه من المعترف به عموما أن شركة فورانيا الموازية أمر بالغ الأهمي ة لتحسين الأداء النموذجي، فإن الأساليب الحالية غالبا ما تكون مقيدة بحجم Corpora المتوازي، خاصة لغات الموارد المنخفضة. في هذه الورقة، نقترح Ernie-M، وهي طريقة تدريب جديدة تشجع النموذج على محاذاة تمثيل لغات متعددة مع شركة أحادية الأحادية، للتغلب على القيد أن أماكن حجم Corpus الموازي على الأداء النموذجي. إن رؤيتنا الرئيسية هي دمج الترجمة الخلفي في عملية التدريب المسبق. نحن نولد أزواج جملة زائفة بالموازاة على كائن أحادي مونولينغ لتمكين تعلم المحاذاات الدلالية بين لغات مختلفة، وبالتالي تعزيز النمذجة الدلالية للنماذج المتبقية. تظهر النتائج التجريبية أن Ernie-M يتفوق على النماذج الحالية عبر اللغات الحالية ويوفر نتائج حالة جديدة من بين الفنين في مختلف مهام المصب عبر اللغات. سيتم إجراء الرموز والنماذج المدربة مسبقا متاحة للجمهور.
تحقق هذه الورقة في فعالية التدريب المسبق لتصنيف قلة الطابع القليلة.في حين أن النماذج الحالية عادة ما تكون هناك مزيد من النماذج اللغوية السابقة لما قبل التدريب مثل Bert على كمية شاسعة من Corpus غير المسبق، فإننا نجد أنها فعالة للغاية وكفاءة ببساطة Bri te Tune Bert مع مجموعة صغيرة من الكلام المسمى من مجموعات البيانات العامة.على وجه التحديد، تقوم Brtt Tuning Berting ذات الصقل مع ما يقرب من 1000 من البيانات المسمى نموذجا مدربا مسبقا - Intentbert، والذي يمكن أن يتجاوز بسهولة أداء النماذج المدربة مسبقا الحالية للحصول على تصنيف قلة الطابع على النطاقات الجديدة مع دلائل مختلفة للغاية.تؤكد فعالية Intentbert المرتفعة من جدوى وعملية الكشف عن القلة القليلة، وتقترح قدرة تعميمها العالية عبر المجالات المختلفة أن مهام تصنيف النوايا قد تشارك هيكل أساسي مماثل، والتي يمكن تعلمها بكفاءة من مجموعة صغيرة من البيانات المسمى.يمكن العثور على شفرة المصدر في https://github.com/hdzhang-code/intentbert.
تقوم هذه الدراسات الورقية بالتحويل عبر اللغات الصفرية إلى نماذج لغة الرؤية. على وجه التحديد، نركز على البحث عن نص متعدد اللغات والفيديو واقتراح نموذجا يستند إلى المحولات التي تتعلم أن تضمينات السياق متعددة اللغات متعددة اللغات. تحت إعداد طلقة صفرية، نوضح تجريبيا أن الأداء يتحلل بشكل كبير عند الاستعلام عن نموذج الفيديو النصي متعدد اللغات مع جمل غير إنجليزية. لمعالجة هذه المشكلة، نقدم استراتيجية متعددة الاستخدامات متعددة الاستخدامات متعددة اللغات، وجمع مجموعة بيانات تعليمية متعددة اللغات متعددة اللغات (متعدد HOWTO100M) للتدريب المسبق. تشير التجارب في VTT إلى أن طريقتنا تعمل بشكل كبير على تحسين البحث عن الفيديو في اللغات غير الإنجليزية دون شروح إضافية. علاوة على ذلك، عند توفر التعليقات التوضيحية متعددة اللغات، تتفوقت طريقة لدينا على خطوط الأساس الحديثة بواسطة هامش كبير في البحث عن نص متعدد اللغات للفيديو على VTT و Vatex؛ وكذلك في البحث النص متعدد اللغات إلى الصورة على multi30k. يتوفر نموذجنا ومتعدد HOWTO100M على http://github.com/berniebear/multi-ht100m.
إن محول نقل النص إلى النص الأخير "'(T5) عند الاستفادة من تنسيق نصي إلى نص موحد ومقياس لتحقيق النتائج الحديثة على مجموعة واسعة من مهام NLP باللغة الإنجليزية.في هذه الورقة، نقدم MT5، وهو متغير متعدد اللغات من T5 الذي تم تدريبه مسبقا على مجموعة بيانات ج ديدة تستند إلى الزواحف تغطي 101 لغات.نحن تفصل على التصميم والتدريب المعدل ل MT5 وإظهار أدائه من أحدث المعايير متعددة اللغات.وصف أيضا تقنية بسيطة لمنع الترجمة العرضية "في إعداد الطلقة الصفرية، حيث يختار طراز عام (جزئيا) تنبؤه بلغة خاطئة.جميع الكود ونقاط التفتيش النموذجية المستخدمة في هذا العمل متاحة للجمهور.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا