يمكن تحسين جودة الترجمة من خلال المعلومات العالمية من الجملة المستهدفة المطلوبة لأن وحدة فك الترميز يمكن أن تفهم كل من المعلومات السابقة والمستقبلية.ومع ذلك، يحتاج النموذج إلى تكلفة إضافية لإنتاج والنظر في هذه المعلومات العالمية.في هذا العمل، لحقن مع
لومات عالمية ولكن أيضا توفير التكلفة، نقدم طريقة فعالة للعينة والنظر في مشروع دلالي كمعلومات عالمية من الفضاء الدلالي ل فكيبها مع خالية من التكلفة تقريبا.على عكس التكيفات الناجحة الأخرى، لا يتعين علينا تنفيذ عملية تشبه ممن عينات مرارا وتكرارا من الفضاء الدلالي المحتمل.تظهر التجارب التجريبية أن الطريقة المقدمة يمكن أن تحقق أداء تنافسي في أزواج اللغة المشتركة مع ميزة واضحة في كفاءة الاستدلال.سنفتح جميع التعليمات البرمجية المصدر الخاصة بنا على Github.
شرح نماذج الشبكة العصبية مهمة لزيادة جدورث بالثقة في تطبيقات العالم الحقيقي. توليد معظم الأساليب الموجودة تفسيرات ما بعد الهخص لنماذج الشبكة العصبية من خلال تحديد وسمات الميزات الفردية أو الكشف عن التفاعلات بين الميزات المجاورة. ومع ذلك، بالنسبة للنم
اذج التي تحتوي على أزواج نصية كدخلات (على سبيل المثال، التعريف بإعادة صياغة التعريف)، فإن الأساليب الموجودة ليست كافية لالتقاط تفاعلات الميزات بين نصين وتمديدها البسيط لحساب جميع تفاعلات Word-Beach بين نصفي غير فعال. في هذا العمل، نقترح طريقة Group Mask (GMASK) لتكتشف ضمنيا علاقات الكلمات من خلال تجميع الكلمات المرتبطة من زوج إدخال الإدخال معا وقياس مساهمتها في مهام NLP المقابلة ككل. يتم تقييم الطريقة المقترحة مع اثنين من بنية نموذجية مختلفة (نموذج الاهتمام للتحلل) عبر أربع مجموعات بيانات، بما في ذلك الاستدلال اللغوي الطبيعي وإعادة صياغة مهام التعريف. تظهر التجارب فعالية Gmask في توفير تفسيرات مخلصة لهذه النماذج.
يستخدم تكيف المجال على نطاق واسع في التطبيقات العملية للترجمة الآلية العصبية، والتي تهدف إلى تحقيق أداء جيد على كل من المجال العام والبيانات داخل المجال. ومع ذلك، فإن الأساليب الحالية لتكييف المجال عادة ما تعاني من النسيان الكارثي، والاختلاف المجال ا
لكبير، والانفجار النموذجي. لمعالجة هذه المشكلات الثلاثة، نقترح طريقة للتقسيم والتغلب عليها "والتي تعتمد على أهمية الخلايا العصبية أو المعلمات لنموذج الترجمة. في هذه الطريقة، نقوم أولا بإزالة النموذج ويحافظ على الخلايا العصبية أو المعلمات المهمة فقط، مما يجعلها مسؤولة عن كل من المجال العام والترجمة داخل المجال. ثم علينا مزيد من تدريب النموذج المعاني الذي يشرف عليه النموذج الكامل الأصلي مع تقطير المعرفة. أخيرا، نوسع النموذج إلى الحجم الأصلي وضبط المعلمات المضافة للترجمة داخل المجال. أجرينا تجارب على أزواج ومجالات مختلفة للغة والنتائج تظهر أن طريقتنا يمكن أن تحقق تحسينات كبيرة مقارنة بالعديد من خطوط الأساس القوية.
