APGN: شبكات توليد الخصومة والمعلمة لتخليص التبعية المتعدد المصدر

بفضل القدرة التعليمية القوية للتعلم التعلم العميق، خاصة تقنيات ما قبل التدريب مع فقدان نموذج اللغة، حققت تحليل التبعية دفعة كبيرة في الأداء في السيناريو داخل المجال مع بيانات التدريب المسمى الوفيرة للمجالات المستهدفة. ومع ذلك، يتعين على مجتمع التحليل مواجهة الإعداد الأكثر واقعية حيث ينخفض ​​أداء التحليل بشكل كبير عند وجود البيانات المسمى فقط لعدة مجالات خارجية ثابتة. في هذا العمل، نقترح نموذجا جديدا لتحليل التبعية عبر المصدر متعدد الاستخدامات. يتكون النموذج من مكونين، I.E.، شبكة توليد المعلمة لتمييز الميزات الخاصة بالمجال، وشبكة خصومة لتعلم التمثيلات الثابتة للمجال. تظهر التجارب في مجموعة بيانات NLPCC-2019 التي تم إصدارها مؤخرا لمحافلات التبعية متعددة المجال أن طرازنا يمكن أن يحسن باستمرار أداء أداء تحليل المجال عبر النطاق بنقطة حوالي 2 نقطة في دقة المرفقات المسمى (LAS) عبر خطوط خطوط خطوط قوية محسنة من بيرت. يتم إجراء تحليل مفصل للحصول على المزيد من الأفكار حول مساهمات المكونين.

Thanks to the strong representation learning capability of deep learning, especially pre-training techniques with language model loss, dependency parsing has achieved great performance boost in the in-domain scenario with abundant labeled training data for target domains. However, the parsing community has to face the more realistic setting where the parsing performance drops drastically when labeled data only exists for several fixed out-domains. In this work, we propose a novel model for multi-source cross-domain dependency parsing. The model consists of two components, i.e., a parameter generation network for distinguishing domain-specific features, and an adversarial network for learning domain-invariant representations. Experiments on a recently released NLPCC-2019 dataset for multi-domain dependency parsing show that our model can consistently improve cross-domain parsing performance by about 2 points in averaged labeled attachment accuracy (LAS) over strong BERT-enhanced baselines. Detailed analysis is conducted to gain more insights on contributions of the two components.