تيسير آليات الاهتمام الموازية المتعددة التي تستخدم رؤساء اهتمامات متعددة أكبر أداء نموذج المحول لمختلف التطبيقات على سبيل المثال، الترجمة الآلية العصبية (NMT)، تصنيف النص. في آلية اهتمام متعددة الرأس، يحضر رؤوس مختلفة إلى أجزاء مختلفة من المدخلات. ومع ذلك، فإن القيد هو أن رؤساء متعددة قد يحضرون إلى نفس الجزء من الإدخال، مما أدى إلى زيادة الرؤوس المتعددة. وبالتالي، يتم استخدام الموارد النموذجية. نهج واحد لتجنب ذلك هو أن تقليم رؤساء أقل أهمية بناء على درجة أهمية معينة. في هذا العمل، نركز على تصميم آلية حسابية ذات أهمية ديناميكية (DHICM) لحساب أهمية الرأس بشكل حيوي فيما يتعلق بالإدخال. إن رؤيتنا هي تصميم طبقة اهتمام إضافي مع الاهتمام متعدد الأطراف، وتستخدم مخرجات الاهتمام متعدد الأطراف جنبا إلى جنب مع المدخلات، لحساب أهمية كل رأس. بالإضافة إلى ذلك، نضيف دالة خسارة إضافية لمنع النموذج من تعيين النتيجة نفسها لجميع الرؤوس، لتحديد رؤوس أكثر أهمية وأداء الارتجال. لقد قمنا بتحليل أداء DHICM ل NMT مع لغات مختلفة. تظهر التجارب في مجموعات البيانات المختلفة أن DHICM تتفوق على النهج التقليدي القائم على المحولات من خلال الهامش الكبير، خاصة، عند توفر بيانات التدريب الأقل.
Multiple parallel attention mechanisms that use multiple attention heads facilitate greater performance of the Transformer model for various applications e.g., Neural Machine Translation (NMT), text classification. In multi-head attention mechanism, different heads attend to different parts of the input. However, the limitation is that multiple heads might attend to the same part of the input, resulting in multiple heads being redundant. Thus, the model resources are under-utilized. One approach to avoid this is to prune least important heads based on certain importance score. In this work, we focus on designing a Dynamic Head Importance Computation Mechanism (DHICM) to dynamically calculate the importance of a head with respect to the input. Our insight is to design an additional attention layer together with multi-head attention, and utilize the outputs of the multi-head attention along with the input, to compute the importance for each head. Additionally, we add an extra loss function to prevent the model from assigning same score to all heads, to identify more important heads and improvise performance. We analyzed performance of DHICM for NMT with different languages. Experiments on different datasets show that DHICM outperforms traditional Transformer-based approach by large margin, especially, when less training data is available.
References used
https://aclanthology.org/
Neural machine translation (NMT) models are data-driven and require large-scale training corpus. In practical applications, NMT models are usually trained on a general domain corpus and then fine-tuned by continuing training on the in-domain corpus.
Recent research questions the importance of the dot-product self-attention in Transformer models and shows that most attention heads learn simple positional patterns. In this paper, we push further in this research line and propose a novel substitute
Most current neural machine translation models adopt a monotonic decoding order of either left-to-right or right-to-left. In this work, we propose a novel method that breaks up the limitation of these decoding orders, called Smart-Start decoding. Mor
We propose a data augmentation method for neural machine translation. It works by interpreting language models and phrasal alignment causally. Specifically, it creates augmented parallel translation corpora by generating (path-specific) counterfactua
Neural machine translation (NMT) is sensitive to domain shift. In this paper, we address this problem in an active learning setting where we can spend a given budget on translating in-domain data, and gradually fine-tune a pre-trained out-of-domain N