في السنوات الأخيرة، اكتسب الرعاية الصحية الرقمية عن بعد باستخدام الدردشات عبر الإنترنت زخما، خاصة في الجنوب العالمي. على الرغم من أن العمل السابق قد درس أنماط التفاعل في المنتديات عبر الإنترنت (الصحة)، مثل Talklife، Reddit و Facebook، كان هناك عمل مح
دود في فهم التفاعلات في مجتمع صغير مقبول من الرسل الفوري. في هذه الورقة، نقترح إطار شرح لغوي لتسهيل تحليل مجموعات WhatsApp التي تركز على الصحة. الهدف الأساسي للإطار هو فهم العلاقات الشخصية بين مؤيديه الأقران من أجل المساعدة في تطوير حلول NLP لرعاية المرضى عن بعد وتقليل عبء مقدمي الرعاية الصحية المرهقين. يتكون إطارنا من تصنيف دعم الأقران من النظير الدقيق ووضع علامات معنويات على مستوى الرسائل. بالإضافة إلى ذلك، نظرا لانتشار خلط التعليمات البرمجية في هذه المجموعات، فإننا ندمج التعليقات التوضيحية لغة مستوى Word. نستخدم الإطار المقترح لدراسة مجموعتين WhatsApp في كينيا للشباب الذين يعيشون مع فيروس نقص المناعة البشرية، ويسهل من قبل مزود للرعاية الصحية.
نقدم الدخول الفائز إلى مهمة مشتركة من التطبيع المعجمي متعدد اللغات (Multilexnorm) في W-Nut 2021 (Van Der Goot et al.، 2021A)، والتي تقيم أنظمة التطبيع المعجمي في 12 مجموعة بيانات وسائل التواصل الاجتماعي في 11 لغة.نقوم بتأسيس حلنا على نموذج لغة بايت م
دروس مسبقا، BYT5 (Xue et al.، 2021A)، والتي ندرجها مسبقا على البيانات الاصطناعية ثم تناغم بشكل جيد على بيانات التطبيع الأصيل.يحقق نظامنا أفضل أداء بهامش واسع في التقييم الجوهري، وأيضا أفضل أداء في التقييم الخارجي من خلال تحليل التبعية.يتم إصدار شفرة المصدر في https://github.com/ufal/multilexnorm2021 والنماذج الدقيقة في https://huggingface.co/ufal.
تعدد اللغات T5 Pretrains نموذج تسلسل إلى تسلسل على نصوص أحادية الأبعاد ضخمة، والتي أظهرت نتائج واعدة على العديد من المهام المتبقية اللغوية.في هذه الورقة، نحسن محول نقل النص إلى النص متعدد اللغات مع أزواج الترجمة (MT6).على وجه التحديد، نستكشف ثلاثة مه
ام ما قبل التدريب النصي عبر اللغات، وهي الترجمة الآلية، والفساد زوج الترجمة، وتمضم الفساد المشترك.بالإضافة إلى ذلك، نقترح هدف جزئيا غير التلقائي للتدريب المسبق للنص.نقيم الأساليب على سبع مجموعات بيانات معيار متعددة اللغات، بما في ذلك تصنيف الجملة، والاعتراف بالكياء المسمى، والإجابة على الأسئلة، والتلخيص الجماعي.تظهر النتائج التجريبية أن MT6 المقترح يحسن عملية النقل عبر اللغات عبر MT5.
أصبحت نماذج اللغة متعددة اللغات المحددة مسبقا أداة شائعة في تحويل قدرات NLP إلى لغات الموارد المنخفضة، وغالبا مع التعديلات.في هذا العمل، ندرس أداء، قابلية القابلية للضغط، والتفاعل بين اثنين من هذه التكيفات: تكبير المفردات وتروية النصوص.تقييماتنا حول
العلامات بين الكلام، تحليل التبعية الشامل، والاعتراف الكياري المسمى في تسعة لغات متنوعة منخفضة الموارد تدعم صلاحية هذه الأساليب مع رفع أسئلة جديدة حول كيفية تكييف النماذج متعددة اللغات على النحو الأمثل إلى إعدادات الموارد المنخفضة.
تعلم الترجمة الآلية العصبية متعددة اللغات (MNMT) ترجمة أزواج متعددة اللغات بنموذج واحد، يحتمل أن يحسن كل من الدقة وكفاءة الذاكرة للنماذج المنتشرة. ومع ذلك، فإن عدم اختلال البيانات الثقيلة بين اللغات يعوق النموذج من الأداء بشكل موحد عبر أزواج اللغة. ف
ي هذه الورقة، نقترح هدفا تعليميا جديدا ل MNMT بناء على التحسين القوي التويضي، مما يقلل من الخسارة المتوقعة الأسوأ في مجموعة أزواج اللغة. نوضح كذلك كيفية تحسين هذا الهدف من الناحية العملية للترجمة الكبيرة باستخدام مخطط أفضل استجابة مزخرف، وهو فعاليتان فعالة وتتحمل تكلفة حسابية إضافية ضئيلة مقارنة بقليل المخاطر التجريبية القياسية. نقوم بإجراء تجارب مكثفة على ثلاث مجموعات من اللغات من مجموعة بيانات وتظهر أن طريقتنا تتفوق باستمرار على أساليب خطية قوية من حيث المتوسط والأداء لكل لغة تحت كلا من إعدادات الترجمة متعددة إلى واحدة وواحدة متعددة.
في هذه الورقة، نقدم أول بيانات مفاجئة متعددة اللغات متاحة للجمهور.جمعنا حوالي 6M أسئلة وأجوبة أزواج من الويب، في 21 لغة مختلفة.على الرغم من أن هذا أكبر بكثير من مجموعات بيانات استرجاع الأسئلة الشائعة الحالية، إلا أنها تأتي مع تحدياتها الخاصة: ازدواجي
ة المحتوى والتوزيع غير المتكافئ للمواضيع.نعتمد إعداد مماثل لاسترجاع مرور كثيف (DPR) واختبار العديد من التشفير BI على هذه البيانات.تكشف تجاربنا أن نموذج متعدد اللغات يعتمد على XLM-Roberta يحقق أفضل النتائج، باستثناء اللغة الإنجليزية.يبدو أن لغات الموارد السفلية تتعلم من بعضها البعض ككلمة متعددة اللغات يحقق MRR أعلى من تلك الخاصة باللغة.يكشف تحليلنا النوعي عن تنشيط النموذج على تغييرات كلمة بسيطة.نحن نطلق علنا علنا DataSet، نموذج، وتدريب البرنامج النصي.
تهدف وضع العلامات للتسلسل إلى التنبؤ بتسلسل غرامة من الملصقات للنص. ومع ذلك، تعوق هذه الصياغة فعالية الأساليب الخاضعة للإشراف بسبب عدم وجود بيانات مشروحة على مستوى الرمز المميز. يتم تفاقم هذا عندما نلتقي مجموعة متنوعة من اللغات. في هذا العمل، نستكشف
تسلسل تسلسل متعدد اللغات مع الحد الأدنى من الإشراف باستخدام نموذج موحد واحد لغات متعددة. على وجه التحديد، نقترح شبكة طالب مدرس من المعلمين (MITA)، وهي طريقة لتعلم التعريف الجديدة لتخفيف ندرة البيانات من خلال الاستفادة من البيانات الكبيرة متعددة اللغات غير المسبقة. يعتمد أطر من المعلمين السابقة من المعلمين من التدريب الذاتي على استراتيجيات تدريس جامدة، والتي بالكاد تنتج ملصقات زائفة عالية الجودة للرموز المتتالية والمترابطة. على العكس من ذلك، يسمح Metats بالمعلم بتكييف استراتيجيات الشروح الزائفة في ديناميكيا من خلال تعليقات الطالب على البيانات التي تم إنشاؤها المصممة ذات المسمى الزائفة من كل لغة، وبالتالي تخفيف انتشار الأخطاء من التسميات الزائفة الصاخبة. تجارب واسعة النطاق على كل من مجموعات بيانات تسلسل متعددة اللغات متعددة اللغات متعددة اللغات في العالم، توضح تجريبيا فعالية التيتات.
وقد تبين أن نماذج اللغة متعددة اللغات المحددة تعمل بشكل جيد في العديد من اللغات لمجموعة متنوعة من مهام NLP المصب. ومع ذلك، من المعروف أن هذه النماذج تتطلب الكثير من البيانات التدريبية. وبالتالي يترك هذا نسبة كبيرة من لغات العالم لأنها نقص الموارد. عل
اوة على ذلك، فإن الدافع الرئيسي وراء هذه النماذج هو أن لغات الموارد المنخفضة تستفيد من التدريب المشترك بلغات الموارد العليا. في هذا العمل، نتحدى هذا الافتراض وتقديم المحاولة الأولى لتدريب نموذج لغة متعددة اللغات على لغات الموارد المنخفضة فقط. نظهر أنه من الممكن تدريب نماذج لغة متعددة اللغات التنافسية على أقل من 1 غيغابايت من النص. يغطي نموذجنا، يدعى Afriberta، 11 لغة إفريقية، بما في ذلك نموذج اللغة الأول لمدة 4 من هذه اللغات. التقييمات حول التعرف على الكيان المسمى وتصنيف النص يشير إلى 10 لغات تظهر أن النموذج لدينا تفوقت على mbert و xlm-rin عدة لغات وتنافسية للغاية بشكل عام. تشير النتائج إلى أن نهج بياناتنا الصغير بناء على لغات مماثلة قد يعمل في بعض الأحيان أفضل من التدريب المشترك على مجموعات البيانات الكبيرة مع لغات موارد عالية. يتم إصدار الرمز والبيانات والنماذج في https://github.com/keleog/afriberta.
قياس درجة التشابه بين زوج من الجمل بلغات مختلفة هو المطلوبة الأساسية لأساليب تضمين الجملة متعددة اللغات. يتكون التنبؤ بدرجة التشابه من مهمتين فرعيتين، وهو تقييم التغلب غير المباشر واسترجاع الجملة متعددة اللغات. ومع ذلك، فإن الأساليب التقليدية قد تناو
لت أساسا واحدة فقط من المهام الفرعية، وبالتالي أظهرت عروضا متحيزا. في هذه الورقة، نقترح طريقة جديدة وطريقة قوية لتضمين الجملة متعددة اللغات، مما يدل على تحسين الأداء على كلا المهام الفرعية، وبالتالي مما يؤدي إلى تنبؤات قوية لدرجات التشابه متعددة اللغات. تتكون الطريقة المقترحة من جزأين: لتعلم التشابه الدلالي من الجمل في اللغة المحورية، ثم تمديد الهيكل الدلالي المستفاد لغات مختلفة. لمحاذاة الهياكل الدلالية عبر لغات مختلفة، نقدم شبكة مدرس وطالب. تقطير شبكة المعلم معرفة اللغة المحورية لغات مختلفة من شبكة الطلاب. أثناء التقطير، يتم تحديث معلمات شبكة المعلم مع المتوسط البطيء المتحرك. جنبا إلى جنب مع التقطير وتحديث المعلمة، يمكن محاذاة الهيكل الدلالي لشبكة الطالب مباشرة عبر لغات مختلفة مع الحفاظ على القدرة على قياس التشابه الدلالي. وبالتالي، فإن طريقة التدريب متعددة اللغات تدفع تحسين الأداء في تقييم التشابه متعدد اللغات. يحقق النموذج المقترح أداء الحديث في تقييم التشابه متعدد اللغات لعام 2017 بالإضافة إلى مهام فرعية، التي تمتد التقييم المتشابهات لأول مرة 2017 و Tatoeba متعددة اللغات متعددة اللغات في 14 لغة.
نقترح طريقة لتقطير معنى المعنى اللاإرادي للغات من تشفير الجملة متعددة اللغات.عن طريق إزالة المعلومات الخاصة باللغة من التضمين الأصلي، نسترجع التضمين الذي يمثله بشكل كامل معنى الجملة.تعتمد الطريقة المقترحة فقط على Corpora الموازي دون أي شروح بشرية.يتي
ح Edgedding المعنى لدينا تقدير تشابه تشابه التشابه من خلال حساب التشابه الجيبائي البسيط.النتائج التجريبية على حد كلا تقدير الجودة للترجمة الآلية ومهام التشابه النصي من الدلالات المتبادلة - أن طريقتنا تتفوق باستمرار على خطوط الأساس القوية باستخدام التضمين الأصلي متعدد اللغات.تعمل طريقتنا باستمرار على تحسين أداء أي تشفير جملة متعددة اللغات المدربة مسبقا، حتى في أزواج لغة الموارد المنخفضة حيث تتوفر عشرات الآلاف فقط من أزواج الجملة بالتوازي.
