أظهرت نماذج اللغة للأغراض العامة قدرات مثيرة للإعجاب، وأداء على قدم المساواة مع النهج الحديثة على مجموعة من مهام ومعايير معالجة اللغة الطبيعية المصب (NLP) عند استنتاج التعليمات من الأمثلة القليلة للغاية.هنا، نقيم المهارات متعددة اللغات في نماذج GPT و T5 في إجراء تصنيف متعدد الفئات على اللغات غير الإنجليزية دون أي تحديثات معلمة.نظهر أنه بالنظر إلى عدد قليل من الأمثلة الإنجليزية كسياق، يمكن أن تتنبأ نماذج اللغة المدربة مسبقا بعينات اختبار اللغة الإنجليزية فقط ولكن أيضا غير الإنجليزية منها.أخيرا، نجد نتائج التنبؤ القليل من الطوابق في السياق لنماذج اللغة أفضل بكثير من التنبؤ العشوائي، وهي تنافسية مقارنة بالموديلات المتبادلة الحالية من أحدث ونماذج الترجمة الحالية.
General-purpose language models have demonstrated impressive capabilities, performing on par with state-of-the-art approaches on a range of downstream natural language processing (NLP) tasks and benchmarks when inferring instructions from very few examples. Here, we evaluate the multilingual skills of the GPT and T5 models in conducting multi-class classification on non-English languages without any parameter updates. We show that, given a few English examples as context, pre-trained language models can predict not only English test samples but also non-English ones. Finally, we find the in-context few-shot cross-lingual prediction results of language models are significantly better than random prediction, and they are competitive compared to the existing state-of-the-art cross-lingual models and translation models.
References used
https://aclanthology.org/
When scaled to hundreds of billions of parameters, pretrained language models such as GPT-3 (Brown et al., 2020) achieve remarkable few-shot performance. However, enormous amounts of compute are required for training and applying such big models, res
In this paper, we study the utilization of pre-trained language models to enable few-shotNatural Language Generation (NLG) in task-oriented dialog systems. We introduce a system consisting of iterative self-training and an extensible mini-template fr
We explore the use of large pretrained language models as few-shot semantic parsers. The goal in semantic parsing is to generate a structured meaning representation given a natural language input. However, language models are trained to generate natu
As it has been unveiled that pre-trained language models (PLMs) are to some extent capable of recognizing syntactic concepts in natural language, much effort has been made to develop a method for extracting complete (binary) parses from PLMs without
Natural Language Processing (NLP) is increasingly relying on general end-to-end systems that need to handle many different linguistic phenomena and nuances. For example, a Natural Language Inference (NLI) system has to recognize sentiment, handle num