ترغب بنشر مسار تعليمي؟ اضغط هنا

متخصصة نماذج لغة متعددة اللغات: دراسة تجريبية

Specializing Multilingual Language Models: An Empirical Study

387   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

أصبحت نماذج اللغة متعددة اللغات المحددة مسبقا أداة شائعة في تحويل قدرات NLP إلى لغات الموارد المنخفضة، وغالبا مع التعديلات.في هذا العمل، ندرس أداء، قابلية القابلية للضغط، والتفاعل بين اثنين من هذه التكيفات: تكبير المفردات وتروية النصوص.تقييماتنا حول العلامات بين الكلام، تحليل التبعية الشامل، والاعتراف الكياري المسمى في تسعة لغات متنوعة منخفضة الموارد تدعم صلاحية هذه الأساليب مع رفع أسئلة جديدة حول كيفية تكييف النماذج متعددة اللغات على النحو الأمثل إلى إعدادات الموارد المنخفضة.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

أصبحت نماذج اللغة متعددة اللغات المدربة مسبقا كتلة مبنى مهمة في معالجة اللغة الطبيعية متعددة اللغات.في الورقة الحالية، نحقق في مجموعة من هذه النماذج لمعرفة مدى نقل المعرفة على مستوى الخطاب عبر اللغات.يتم ذلك بتقييم منهجي على مجموعة أوسع من مهام مستوى الخطاب مما تم تجميعه مسبقا.نجد أن عائلة XLM-Roberta من نماذج تظهر باستمرار أفضل أداء، من خلال نماذج أحادية جيدة جيدة في وقت واحد ومهينة القليل نسبيا في إعداد طلقة صفرية.تشير نتائجنا أيضا إلى أن التقطير النموذجي قد تؤذي قدرة النقل عبر اللغات من تمثيل الجملة، في حين أن الاختلاف اللغوي على الأكثر تأثير متواضع.نأمل أن يكون جناح اختبارنا، الذي يغطي 5 مهام مع ما مجموعه 22 لغة في 10 أسر متميزة، بمثابة منصة تقييم مفيدة للأداء متعدد اللغات في مستوى الجملة وما بعدها.
نقوم بتحليل ما إذا كانت نماذج اللغة الكبيرة قادرة على التنبؤ بأنماط سلوك القراءة البشرية.قارنا أداء نماذج محولات محول خاصة باللغات ومتعددة اللغات للتنبؤ بتدابير وقت القراءة التي تعكس معالجة الجملة البشرية الطبيعية على النصوص الهولندية والإنجليزية وال ألمانية والروسية.ينتج عن هذا نماذج دقيقة من سلوك القراءة البشرية، والذي يشير إلى أن نماذج المحولات ترميز ضمنيا أهمية نسبية في اللغة بطريقة مماثلة لآليات المعالجة البشرية.نجد أن نماذج بيرت و XLM تتنبأ بنجاح مجموعة من ميزات تتبع العين.في سلسلة من التجارب، نحلل القدرات عبر المجال واللغات الشاملة لهذه النماذج وإظهار كيف تعكس معالجة الجملة البشرية.
تقوم هذه الدراسات الورقية بالتحويل عبر اللغات الصفرية إلى نماذج لغة الرؤية. على وجه التحديد، نركز على البحث عن نص متعدد اللغات والفيديو واقتراح نموذجا يستند إلى المحولات التي تتعلم أن تضمينات السياق متعددة اللغات متعددة اللغات. تحت إعداد طلقة صفرية، نوضح تجريبيا أن الأداء يتحلل بشكل كبير عند الاستعلام عن نموذج الفيديو النصي متعدد اللغات مع جمل غير إنجليزية. لمعالجة هذه المشكلة، نقدم استراتيجية متعددة الاستخدامات متعددة الاستخدامات متعددة اللغات، وجمع مجموعة بيانات تعليمية متعددة اللغات متعددة اللغات (متعدد HOWTO100M) للتدريب المسبق. تشير التجارب في VTT إلى أن طريقتنا تعمل بشكل كبير على تحسين البحث عن الفيديو في اللغات غير الإنجليزية دون شروح إضافية. علاوة على ذلك، عند توفر التعليقات التوضيحية متعددة اللغات، تتفوقت طريقة لدينا على خطوط الأساس الحديثة بواسطة هامش كبير في البحث عن نص متعدد اللغات للفيديو على VTT و Vatex؛ وكذلك في البحث النص متعدد اللغات إلى الصورة على multi30k. يتوفر نموذجنا ومتعدد HOWTO100M على http://github.com/berniebear/multi-ht100m.
أصبح التحويل التعلم بناء على نماذج لغة المحترفين على كمية كبيرة من البيانات الخام نموذجا جديدا للوصول إلى الأداء الحديث في NLP. ومع ذلك، لا يزال من غير الواضح كيف ينبغي تطبيق هذا النهج لغات غير مرئية غير مشمولة بأي نموذج لغوي متعدد اللغات واسعة ناتجا ، والذي يتم توفير كمية صغيرة فقط من البيانات الخام فقط. في هذا العمل، من خلال مقارنة النماذج متعددة اللغات وأنتغوية، نوضح أن هذه النماذج تتصرف بطرق متعددة على اللغات غير المرئية. تستفيد بعض اللغات بشكل كبير من تعلم التعلم والتصرف بالمثل إلى لغات موارد عالية مرتبطة ارتباطا وثيقا في حين أن الآخرين على ما يبدو لا. التركيز على الأخير، نظرا لأن هذا الفشل في النقل يرتبط إلى حد كبير بتأثير البرنامج النصي المستخدم لكتابة هذه اللغات. نظهر أن ترجمة هذه اللغات تعمل بشكل كبير على تحسين إمكانات نماذج اللغة متعددة اللغات على نطاق واسع في مهام المصب. توفر هذه النتيجة اتجاها واعدا نحو جعل هذه النماذج متعددة اللغات بشكل كبير مفيدة لمجموعة جديدة من اللغات غير المرئية.
دراسات مسبقة مجردة في النمذجة اللغوية متعددة اللغات (على سبيل المثال، كوتريل وآخرون، 2018؛ Mielke et al.، 2019) لا أوافق على ما إذا كانت مورفولوجيا الانهيار أو لا تجعل اللغات أكثر صعوبة في النموذج.نحاول حل الخلاف وتوسيع تلك الدراسات.نقوم بتجميع أكبر من كائن أكبر من 145 ترجمة للكتاب المقدس في 92 لغة وعدد أكبر من الميزات النموذجية .1 نقوم بملء البيانات النموذجية المفقودة لعدة لغات والنظر في تدابير تعتمد على Corpus من التعقيد المورفولوجي بالإضافة إلى الميزات النموذجية التي يتم إنتاجها من الخبراء.نجد أن العديد من التدابير المورفولوجية مرتبطة بشكل كبير بزيادة مفاجأة عندما يتم تدريب نماذج LSTM مع بيانات مجزأة BPE.نحقق أيضا استراتيجيات تجزئة الكلمات الفرعية ذات الدوافع اللغوية مثل مورفيسور ومحولات محولات الحالة المحدودة (FSTS) وتجد أن هذه استراتيجيات التجزئة تسفر عن أداء أفضل وتقليل تأثير مورفولوجيا اللغة على نمذجة اللغة.

الأسئلة المقترحة

التعليقات (0)
no comments...
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا