استخدام تعلم التعلم لتمييز النصوص الكتابة تلقائيا L2

نمت استخدام تعلم النقل في معالجة اللغة الطبيعية (NLP) خلال السنوات القليلة الماضية. الشبكات العصبية الكبيرة المدربة مسبقا تستند إلى بنية المحولات هي أحد الأمثلة على ذلك، وتحقيق أداء حديثة من المخين في العديد من معايير الأداء الشائعة الاستخدام، وغالبا ما يكون عند التصميم على مهمة أسفل المصب. كما تم عرض شكل آخر من أشكال التعلم النقل، التعلم المتعدد المهام، تحسين الأداء في مهام معالجة اللغة الطبيعية وزيادة متانة النموذج. تحدد هذه الورقة النتائج الأولية للتحقيقات في تأثير استخدام نماذج اللغة المسبقة مسبقا جنبا إلى جنب مع تعدد المهام الدقيقة لإنشاء نظام علامات تلقائية من اللغة الإنجليزية المكتوبة باللغة الإنجليزية المكتوبة باللغة الإنجليزية. باستخدام نماذج محولات متعددة ومجموعات البيانات المتعددة، تقارن هذه الدراسة مجموعات مختلفة من النماذج والمهام وتقييم تأثيرها على أداء نظام العلامات الآلي هذا العرض التقديمي عبارة عن لقطة من العمل الذي يتم إجراؤه كجزء من أطروحتي لجامعة ولفرهامبتون برنامج الأساتذة اللغوية الحاسوبية.

The use of transfer learning in Natural Language Processing (NLP) has grown over the last few years. Large, pre-trained neural networks based on the Transformer architecture are one example of this, achieving state-of-theart performance on several commonly used performance benchmarks, often when finetuned on a downstream task. Another form of transfer learning, Multitask Learning, has also been shown to improve performance in Natural Language Processing tasks and increase model robustness. This paper outlines preliminary findings of investigations into the impact of using pretrained language models alongside multitask fine-tuning to create an automated marking system of second language learners' written English. Using multiple transformer models and multiple datasets, this study compares different combinations of models and tasks and evaluates their impact on the performance of an automated marking system This presentation is a snap-shot of work being conducted as part of my dissertation for the University of Wolverhampton's Computational Linguistics Masters' programme.