يتطلب الإجابة السؤال المنطوقة (SQA) فهما غريبا من الوثائق والأسئلة المنطوقة للتنبؤ بالأجواب المثلى. في هذه الورقة، نقترح خطط تدريبية جديدة للسؤال المستحضر الرد على مرحلة تدريب ذاتية الإشراف ومرحلة تعليم التمثيل المتعاقبة. في المرحلة الإشراف ذاتيا، نق
ترح ثلاث مهام إضافية للإشراف على الذات، بما في ذلك استعادة الكلام وإدراج الكلام، والتمييز على السؤال، وتدريب النموذج المشترك على التقاط الاتساق والتماسك بين وثائق الكلام دون أي بيانات أو شروح إضافية. بعد ذلك اقترحنا تعلم تمثيلات الكلام الثغري في الضوضاء في هدف مرتعيض من خلال اعتماد استراتيجيات تكبير متعددة، بما في ذلك حذف الأمان والإحلال. علاوة على ذلك، نقوم بتصميم اهتمام مؤقت للمحاذاة بمحاذاة أدلة نص الكلام في المساحة المشتركة المستفادة ويفيد مهام SQA. بهذه الطريقة، يمكن أن توجه مخططات التدريب بشكل أكثر فعالية نموذج الجيل للتنبؤ بأجوبة أكثر سليمة. تظهر النتائج التجريبية أن نموذجنا يحصل على نتائج أحدث النتائج على ثلاثة معايير SQA. سيتم توفير الكود الخاص بنا علنا بعد النشر.
أظهر العمل الحديث في معالجة اللغة الطبيعية متعددة اللغات تقدما في مهام مختلفة مثل الاستدلال اللغوي الطبيعي والترجمة المشتركة متعددة اللغات. على الرغم من النجاح في تعلم العديد من اللغات، تنشأ التحديات حيث غالبا ما تعزز أنظمة التدريب المتعدد اللغات الأ
داء على بعض اللغات على حساب الآخرين. بالنسبة للاعتراف الكوكي المسمى متعدد اللغات (NER)، نقترح تقنية بسيطة تفرق لغات مماثلة من خلال استخدام Agddings من نموذج لغة ملثم مسبقا مسبقا، واكتشاف مجموعات اللغة تلقائيا في مساحة التضمين هذه. على وجه التحديد، نحن نغلق نموذج XLM-Roberta بمهمة تحديد اللغة، واستخدام المدينات من هذا النموذج للتجميع. نقوم بإجراء تجارب في 15 لغة متنوعة في مجموعة بيانات ويكيانز وتظهر تقنياتنا إلى حد كبير ثلاثة خطوط الأساس: (1) تدريب نموذج متعدد اللغات بالاشتراك على جميع اللغات المتاحة، (2) تدريب طراز أحادي لكل لغة، و (3) لغات تجميع لغات الأسرة اللغوية. نقوم أيضا بإجراء التحليلات التي تظهر تحويلا مهدا متعدد اللغات لغات الموارد المنخفضة (Swahili و Yoruba)، على الرغم من تجمعها تلقائيا مع لغات أخرى متباينة على ما يبدو.
