اخفاء الاهتمام القائم على بناء الجملة للترجمة الآلية العصبية

نقدم طريقة بسيطة لتوسيع المحولات إلى الأشجار من جانب المصدر.نحن نحدد عددا من الأقنعة التي تحد من اهتمام الذات بناء على العلاقات بين العقد الشجرة، ونحن نسمح لكل انتباه في أن يتعلم أي قناع أو أقنعة لاستخدامها.عند الترجمة من الإنجليزية إلى العديد من لغات الموارد المنخفضة، والترجمة في كلا الاتجاهين بين اللغة الإنجليزية والألمانية، تعمل طريقتنا دائما على التحليل البسيط لمجموعة تحليل جانب المصدر ويحسن دائما تقريبا على خط أساس تسلسل إلى تسلسل، حسب ما يصلإلى +2.1 بلو.

We present a simple method for extending transformers to source-side trees. We define a number of masks that limit self-attention based on relationships among tree nodes, and we allow each attention head to learn which mask or masks to use. On translation from English to various low-resource languages, and translation in both directions between English and German, our method always improves over simple linearization of the source-side parse tree and almost always improves over a sequence-to-sequence baseline, by up to +2.1 BLEU.