على الانهيار الانتباه المحول نحو رتابة

تعد العديد من المهام التسلسلية للتسلسل في معالجة اللغات الطبيعية رتيبة تقريبا في المحاذاة بين المصدر وتسلسل المستهدف، وقد سهل العمل السابق أو إنفاذ سلوك الانتباه الرعبي عبر وظائف الاهتمام المتخصص أو المحاكمة.في هذا العمل، نقدم وظيفة خسارة رتابة متوافقة مع آليات الاهتمام القياسية واختبارها في العديد من المهام التسلسلية للتسلسل: تحويل Grapheme-to-funeme، انعطاف مورفولوجي، والترجمة، وتطبيع اللهجة.تظهر التجارب أننا نستطيع تحقيق سلوك رتيب إلى حد كبير.يتم خلط الأداء، مع مكاسب أكبر على رأس خطوط الأساس RNN.ومع ذلك، فإن عام الرتابة العامة لا يفيد اهتمام محول متعدد الشعر، ومع ذلك، فإننا نرى تحسينات معزولة عندما تكون مجموعة فرعية فقط من الرؤوس منحازة نحو السلوك الرتيب.

Many sequence-to-sequence tasks in natural language processing are roughly monotonic in the alignment between source and target sequence, and previous work has facilitated or enforced learning of monotonic attention behavior via specialized attention functions or pretraining. In this work, we introduce a monotonicity loss function that is compatible with standard attention mechanisms and test it on several sequence-to-sequence tasks: grapheme-to-phoneme conversion, morphological inflection, transliteration, and dialect normalization. Experiments show that we can achieve largely monotonic behavior. Performance is mixed, with larger gains on top of RNN baselines. General monotonicity does not benefit transformer multihead attention, however, we see isolated improvements when only a subset of heads is biased towards monotonic behavior.