تحويل الدعوة: التحقيق محتوى مورفوسنكتاكسي للمحولات متعددة اللغات

حفز الأداء المتميز لنماذج اللغة القائمة على المحولات في مجموعة كبيرة ومتنوعة من المهام NLP و NLU الاهتمام باستكشاف أعمالها الداخلية. ركزت الأبحاث الحديثة بشكل أساسي على ظواهر لغوية عالية المستوى ومعقدة مثل بناء الجملة والدلالات والمعرفة العالمية والفني المشترك. غالبية الدراسات هي أنجلجة، ولا تزال قليلا معروفة فيما يتعلق باللغات الأخرى، وتحديدا خصائص مورفوسينتانية. تحقيقا لهذه الغاية، يقدم عملنا دعوة مورف، وهو مجموعة من 46 مهام التحقيق لأربعة لغات الهند الهندية في التشكل المختلفة: الروسية والفرنسية والإنجليزية والألمانية. نقترح نوعا جديدا من المهام التحقيق بناء على الكشف عن اضطرابات الجملة الموجهة. نحن نستخدم مزيج من تقنيات التثبيت التابعة للطبقة العصبية والطبقة والتمثيل لتحليل المحتوى المورفوسنكتاكسي لأربعة محولات متعددة اللغات، بما في ذلك إصداراتهم المقطوعة. بالإضافة إلى ذلك، ندرس كيف تؤثر ضبط مهمة وضع العلامات على الأداء التحقيق.

The outstanding performance of transformer-based language models on a great variety of NLP and NLU tasks has stimulated interest in exploration of their inner workings. Recent research has been primarily focused on higher-level and complex linguistic phenomena such as syntax, semantics, world knowledge and common-sense. The majority of the studies is anglocentric, and little remains known regarding other languages, specifically their morphosyntactic properties. To this end, our work presents Morph Call, a suite of 46 probing tasks for four Indo-European languages of different morphology: Russian, French, English and German. We propose a new type of probing tasks based on detection of guided sentence perturbations. We use a combination of neuron-, layer- and representation-level introspection techniques to analyze the morphosyntactic content of four multilingual transformers, including their understudied distilled versions. Besides, we examine how fine-tuning on POS-tagging task affects the probing performance.