يستخدم تكيف المجال على نطاق واسع في التطبيقات العملية للترجمة الآلية العصبية، والتي تهدف إلى تحقيق أداء جيد على كل من المجال العام والبيانات داخل المجال. ومع ذلك، فإن الأساليب الحالية لتكييف المجال عادة ما تعاني من النسيان الكارثي، والاختلاف المجال الكبير، والانفجار النموذجي. لمعالجة هذه المشكلات الثلاثة، نقترح طريقة للتقسيم والتغلب عليها "والتي تعتمد على أهمية الخلايا العصبية أو المعلمات لنموذج الترجمة. في هذه الطريقة، نقوم أولا بإزالة النموذج ويحافظ على الخلايا العصبية أو المعلمات المهمة فقط، مما يجعلها مسؤولة عن كل من المجال العام والترجمة داخل المجال. ثم علينا مزيد من تدريب النموذج المعاني الذي يشرف عليه النموذج الكامل الأصلي مع تقطير المعرفة. أخيرا، نوسع النموذج إلى الحجم الأصلي وضبط المعلمات المضافة للترجمة داخل المجال. أجرينا تجارب على أزواج ومجالات مختلفة للغة والنتائج تظهر أن طريقتنا يمكن أن تحقق تحسينات كبيرة مقارنة بالعديد من خطوط الأساس القوية.
Domain Adaptation is widely used in practical applications of neural machine translation, which aims to achieve good performance on both general domain and in-domain data. However, the existing methods for domain adaptation usually suffer from catastrophic forgetting, large domain divergence, and model explosion. To address these three problems, we propose a method of divide and conquer'' which is based on the importance of neurons or parameters for the translation model. In this method, we first prune the model and only keep the important neurons or parameters, making them responsible for both general-domain and in-domain translation. Then we further train the pruned model supervised by the original whole model with knowledge distillation. Last we expand the model to the original size and fine-tune the added parameters for the in-domain translation. We conducted experiments on different language pairs and domains and the results show that our method can achieve significant improvements compared with several strong baselines.
المراجع المستخدمة
https://aclanthology.org/
نحن ندرس مشكلة تكيف المجال في الترجمة الآلية العصبية (NMT) عند مشاركة البيانات الخاصة بالمجال بسبب سرية أو مشكلات حقوق النشر.كخطوة أولى، نقترح بيانات الشظية في أزواج العبارة واستخدام عينة عشوائية لحن نموذج NMT عام بدلا من الجمل الكاملة.على الرغم من ف
يمكن تحسين جودة الترجمة من خلال المعلومات العالمية من الجملة المستهدفة المطلوبة لأن وحدة فك الترميز يمكن أن تفهم كل من المعلومات السابقة والمستقبلية.ومع ذلك، يحتاج النموذج إلى تكلفة إضافية لإنتاج والنظر في هذه المعلومات العالمية.في هذا العمل، لحقن مع
غالبا ما تعتمد تحسين التحسينات الأخيرة في الجودة التنبؤية لأنظمة معالجة اللغة الطبيعية على زيادة كبيرة في عدد المعلمات النموذجية. وقد أدى ذلك إلى محاولات مختلفة لضغط هذه النماذج، لكن الطرق الحالية لم تعتبر الاختلافات في القوة التنبؤية للمكونات النموذ
تعتبر هذه الورقة مشكلة تكيف المجال غير المدعومة من أجل الترجمة الآلية العصبية (NMT)، حيث نفترض الوصول إلى نص أحادي فقط إما في المصدر أو اللغة المستهدفة في المجال الجديد. نقترح طريقة اختيار البيانات عبر اللغات لاستخراج الجمل داخل المجال في جانب اللغة
تحتاج أنظمة الإنتاج NMT عادة إلى خدمة مجالات المتخصصة التي لا تغطيها كوربيا كبيرة ومتاحة بسهولة بشكل مناسب.ونتيجة لذلك، غالبا ما يكون الممارسون نماذج غرضا عاما نماذج عامة على كل من المجالات التي يلبيها منظمةها.ومع ذلك، يمكن أن يصبح عدد المجالات كبيرا