أصبحت الشبكات العصبية العميقة ونماذج اللغة الضخمة في كل شيء في تطبيقات اللغة الطبيعية. نظرا لأنهم معروفون بطلب كميات كبيرة من بيانات التدريب، فهناك مجموعة متنامية من العمل لتحسين الأداء في إعدادات الموارد المنخفضة. بدافع من التغييرات الأساسية الأخيرة نحو النماذج العصبية والطائرة المسبقة والتدريب الشائعة النغمات الجميلة، نقوم بمسح نهج واعدة لمعالجة اللغات الطبيعية المنخفضة الموارد. بعد مناقشة حول الأبعاد المختلفة لتوفر البيانات، نقدم نظرة عامة منظم على الطرق التي تمكن التعلم عند انتشار البيانات التدريبية. يشتمل ذلك على آليات لإنشاء بيانات إضافية مصممة مثل تكبير البيانات والإشراف البعيد بالإضافة إلى إعدادات التعلم التي تقلل من الحاجة إلى الإشراف المستهدف. الهدف من المسح لدينا هو شرح كيف تختلف هذه الطرق في متطلباتهم كضمين لهم ضروري لاختيار تقنية مناسبة لإعداد محدد من الموارد منخفضة. هناك جوانب رئيسية أخرى لهذا العمل هي تسليط الضوء على القضايا المفتوحة وإطلاع الإرشادات الواعدة للبحث في المستقبل.
Deep neural networks and huge language models are becoming omnipresent in natural language applications. As they are known for requiring large amounts of training data, there is a growing body of work to improve the performance in low-resource settings. Motivated by the recent fundamental changes towards neural models and the popular pre-train and fine-tune paradigm, we survey promising approaches for low-resource natural language processing. After a discussion about the different dimensions of data availability, we give a structured overview of methods that enable learning when training data is sparse. This includes mechanisms to create additional labeled data like data augmentation and distant supervision as well as transfer learning settings that reduce the need for target supervision. A goal of our survey is to explain how these methods differ in their requirements as understanding them is essential for choosing a technique suited for a specific low-resource setting. Further key aspects of this work are to highlight open issues and to outline promising directions for future research.
References used
https://aclanthology.org/
It is generally agreed upon in the natural language processing (NLP) community that ethics should be integrated into any curriculum. Being aware of and understanding the relevant core concepts is a prerequisite for following and participating in the
Recent impressive improvements in NLP, largely based on the success of contextual neural language models, have been mostly demonstrated on at most a couple dozen high- resource languages. Building language mod- els and, more generally, NLP systems fo
Due to its great power in modeling non-Euclidean data like graphs or manifolds, deep learning on graph techniques (i.e., Graph Neural Networks (GNNs)) have opened a new door to solving challenging graph-related NLP problems. There has seen a surge of
Despite its proven efficiency in other fields, data augmentation is less popular in the context of natural language processing (NLP) due to its complexity and limited results. A recent study (Longpre et al., 2020) showed for example that task-agnosti
How can we design Natural Language Processing (NLP) systems that learn from human feedback? There is a growing research body of Human-in-the-loop (HITL) NLP frameworks that continuously integrate human feedback to improve the model itself. HITL NLP r