برزت التعلم المتعدد المهام مع ترميز المحولات (MTL) كتقنية قوية لتحسين الأداء على المهام ذات الصلة عن كثب لكل من الدقة والكفاءة في حين أن السؤال لا يزال يبقى ما إذا كان من شأنه أن يؤدي ذلك على المهام المميزة أم لا بشكل جيد في الطبيعة أم لا. نقوم أولا بإجراء نتائج MTL على خمس مهام NLP، POS، NER، DEP، CON، SRL، وتصوير نقصها على تعلم المهمة الفردية. ثم نقوم بإجراء تحليل جذري واسع النطاق لإظهار أن مجموعة معينة من رؤساء الاهتمام تعلن أن معظم المهام خلال MTL، والذين يتداخلون مع بعضهم البعض لضبط تلك الرؤوس لأهدافهم الخاصة. استنادا إلى هذا النتيجة، نقترح فرضية الخلايا الجذعية للكشف عن وجود اهتمام يرأس الموهوبين بشكل طبيعي للعديد من المهام التي لا يمكن تدريبها بشكل مشترك على إنشاء شرائح كافية لجميع تلك المهام. أخيرا، نقوم بتصميم تحقيقات خالية من المعلمات الجديدة لتبرير فرضيتنا وإظهار كيفية تحويل رؤساء الانتباه عبر المهام الخمسة خلال MTL من خلال تحليل الملصقات.
Multi-task learning with transformer encoders (MTL) has emerged as a powerful technique to improve performance on closely-related tasks for both accuracy and efficiency while a question still remains whether or not it would perform as well on tasks that are distinct in nature. We first present MTL results on five NLP tasks, POS, NER, DEP, CON, and SRL, and depict its deficiency over single-task learning. We then conduct an extensive pruning analysis to show that a certain set of attention heads get claimed by most tasks during MTL, who interfere with one another to fine-tune those heads for their own objectives. Based on this finding, we propose the Stem Cell Hypothesis to reveal the existence of attention heads naturally talented for many tasks that cannot be jointly trained to create adequate embeddings for all of those tasks. Finally, we design novel parameter-free probes to justify our hypothesis and demonstrate how attention heads are transformed across the five tasks during MTL through label analysis.
References used
https://aclanthology.org/
We present CoTexT, a pre-trained, transformer-based encoder-decoder model that learns the representative context between natural language (NL) and programming language (PL). Using self-supervision, CoTexT is pre-trained on large programming language
Non-Autoregressive machine Translation (NAT) models have demonstrated significant inference speedup but suffer from inferior translation accuracy. The common practice to tackle the problem is transferring the Autoregressive machine Translation (AT) k
Large-scale multi-modal classification aim to distinguish between different multi-modal data, and it has drawn dramatically attentions since last decade. In this paper, we propose a multi-task learning-based framework for the multimodal classificatio
This paper presents our contribution to the Social Media Mining for Health Applications Shared Task 2021. We addressed all the three subtasks of Task 1: Subtask A (classification of tweets containing adverse effects), Subtask B (extraction of text sp
We propose a neural event coreference model in which event coreference is jointly trained with five tasks: trigger detection, entity coreference, anaphoricity determination, realis detection, and argument extraction. To guide the learning of this com