على قابلية استخدام النماذج القائمة على المحولات لمهمة الإجابة على الأسئلة الفرنسية

بالنسبة للعديد من المهام، تم تحقيق النتائج الحديثة مع الهندسة المعمارية القائمة على المحولات، مما يؤدي إلى تحول نموذجي في الممارسات من استخدام الهيغات الخاصة بمهام المهام إلى ضبط نماذج اللغة المدربة مسبقا مسبقا. يتكون الاتجاه المستمر في نماذج تدريبية مع كمية متزايدة باستمرار من البيانات والمعلمات، والتي تتطلب موارد كبيرة. يؤدي إلى بحث قوي لتحسين كفاءة الموارد بناء على تحسينات الخوارزمية والتحسينات التي تم تقييمها للغة الإنجليزية فقط. يثير هذا أسئلة حول قابلية استخدامها عند تطبيقها على مشاكل التعلم الصغيرة، والتي تتوفر كمية محدودة من بيانات التدريب، خاصة لمهام لغات أقل من الموارد. يعد الافتقار إلى كورسا الحجم بشكل مناسب عائقا لتطبيق النهج القائمة على التعلم التي يحركها البيانات ونقلها مع حالات عدم الاستقرار قوية. في هذه الورقة، نقوم بإنشاء أحدث من الجهود المكرسة لسهولة الاستخدام النماذج القائمة على المحولات واقتراح تقييم هذه التحسينات بشأن أداء الإجابة على الأسئلة للغة الفرنسية التي لديها عدد قليل من الموارد. نحن نبذة عن عدم الاستقرار المتعلق ندرة البيانات عن طريق التحقيق في استراتيجيات التدريب المختلفة مع تكبير البيانات وتحسين فرط الحرارة ونقل عبر اللغات. نقدم أيضا نموذجا مدمجا جديدا ل Fralbert الفرنسية التي تثبت أنها تنافسية في إعدادات الموارد المنخفضة.

For many tasks, state-of-the-art results have been achieved with Transformer-based architectures, resulting in a paradigmatic shift in practices from the use of task-specific architectures to the fine-tuning of pre-trained language models. The ongoing trend consists in training models with an ever-increasing amount of data and parameters, which requires considerable resources. It leads to a strong search to improve resource efficiency based on algorithmic and hardware improvements evaluated only for English. This raises questions about their usability when applied to small-scale learning problems, for which a limited amount of training data is available, especially for under-resourced languages tasks. The lack of appropriately sized corpora is a hindrance to applying data-driven and transfer learning-based approaches with strong instability cases. In this paper, we establish a state-of-the-art of the efforts dedicated to the usability of Transformer-based models and propose to evaluate these improvements on the question-answering performances of French language which have few resources. We address the instability relating to data scarcity by investigating various training strategies with data augmentation, hyperparameters optimization and cross-lingual transfer. We also introduce a new compact model for French FrALBERT which proves to be competitive in low-resource settings.