بفضل القدرة التعليمية القوية للتعلم التعلم العميق، خاصة تقنيات ما قبل التدريب مع فقدان نموذج اللغة، حققت تحليل التبعية دفعة كبيرة في الأداء في السيناريو داخل المجال مع بيانات التدريب المسمى الوفيرة للمجالات المستهدفة. ومع ذلك، يتعين على مجتمع التحليل
مواجهة الإعداد الأكثر واقعية حيث ينخفض أداء التحليل بشكل كبير عند وجود البيانات المسمى فقط لعدة مجالات خارجية ثابتة. في هذا العمل، نقترح نموذجا جديدا لتحليل التبعية عبر المصدر متعدد الاستخدامات. يتكون النموذج من مكونين، I.E.، شبكة توليد المعلمة لتمييز الميزات الخاصة بالمجال، وشبكة خصومة لتعلم التمثيلات الثابتة للمجال. تظهر التجارب في مجموعة بيانات NLPCC-2019 التي تم إصدارها مؤخرا لمحافلات التبعية متعددة المجال أن طرازنا يمكن أن يحسن باستمرار أداء أداء تحليل المجال عبر النطاق بنقطة حوالي 2 نقطة في دقة المرفقات المسمى (LAS) عبر خطوط خطوط خطوط قوية محسنة من بيرت. يتم إجراء تحليل مفصل للحصول على المزيد من الأفكار حول مساهمات المكونين.
يتخلص يدويا على بنك Treebank هو تستغرق وقتا طويلا وكثيفة العمالة. نحن نقوم بإجراء تجارب تحليل التبعية عبر اللغات المتبادلة، حيث نربع المحلل المحلل على لغة واحدة واختبار لغتهم المستهدفة. كحالة الاختبار الخاصة بنا، نستخدم Xibe، لغة تجميل أقل من الموارد
. نفترض أن اختيار لغة مرتبطة ارتباطا وثيقا لأن لغة المصدر ستوفر نتائج أفضل من الأقارب البعيدين. ومع ذلك، ليس من الواضح كيفية تحديد تلك اللغات ذات الصلة عن كثب. نحن نحقق في ثلاث طرق مختلفة: اختيار الأقرب من اللغة النموذجية، باستخدام Langrank، واختيار اللغة الأكثر مماثلة تعتمد على الحيرة. نقوم بتدريب نماذج تحليل اللغات المحددة باستخدام udify واختبار على أنواع مختلفة من بيانات Xibe. تظهر النتائج أن اللغات المختارة بناء على التصنيفات وعشرات الحيرة تتفوق على تلك المتوقعة من قبل Langrank؛ اليابانية هي لغة المصدر المثلى. عند تحديد لغة المصدر، فإن القرب من اللغة المستهدفة هو أكثر أهمية من أحجام التدريب الكبيرة. يتأثر التحليل أيضا بخلافات النوع، لكنها لها تأثير ضئيل طالما أن البيانات التدريبية على الأقل معقدة مثل الهدف.
نحن نراجع ميزتين من مزيج من نماذج الخبراء (MOE) التي نسميها وتأثيرات التجميع في سياق محلل التبعية القائمة على الرسوم البيانية المستفادة في إطار احتمامي إشراف. يتوافق المتوسط مع مزيج الفرقة من المحللين وهو مسؤول عن تخفيض التباين الذي يساعد على استقر
ار وتحسين دقة التحليل. يصف التجميع طاقة نماذج وزارة التعليم لتعطي المزيد من الائتمان للخبراء يعتقد أنه أكثر دقة بالنظر إلى المدخلات. على الرغم من الواعدة، يصعب تحقيق ذلك، خاصة دون بيانات إضافية. نقوم بتصميم إعداد تجريبي لدراسة تأثير هذه الآثار. في حين أن المتوسط مفيد دائما، فإن التجميع يتطلب تقنيات التهيئة والاستقرار جيدة، لكن مزاياها على مدى المتوسط يبدو أنها تختفي في نهاية المطاف عندما يوجد عدد كاف من الخبراء. كمنتج حسب المنتج، نوضح كيف يؤدي ذلك إلى نتائج أحدث النتائج على PTB و Conll09 Treebank الصينية، مع انخفاض التباين عبر التجارب.
أدت إدخال مذكرات الكلمات المحول المستندة إلى المحولات المدربين مسبقا إلى تحسينات كبيرة في دقة المحللين المستندة إلى الرسم البياني للأطر مثل التبعيات العالمية (UD). ومع ذلك، يختلف الأمر السابق في الأبعاد المختلفة، بما في ذلك اختيارهم لنماذج اللغة المد
ربة مسبقا وما إذا كانوا يستخدمون طبقات LSTM. مع تهدف إلى تحرير آثار هذه الخيارات وتحديد بنية بسيطة ولكنها قابلة للتطبيق على نطاق واسع، نقدم خطوات، ومحلل التبعية المستندة إلى الرسم البياني المعياري الجديد. باستخدام خطوات، نقوم بإجراء سلسلة من التحليلات على OD Corpora من مجموعة متنوعة من اللغات. نجد أن اختيار المدينات المدربة مسبقا له كبير تأثير على أداء المحلل وتحديد XLM-R كخيار قوي عبر اللغات في دراستنا. لا توفر إضافة طبقات LSTM أي فوائد عند استخدام Embeddings القائمة على المحولات. قد يؤدي إعداد إعدادات التدريب متعددة المهام إلى إخراج ميزات UD إضافية. أخذ هذه الأفكار معا، نقترح بنية ومحزين بسيطة ولكنها قابلة للتطبيق على نطاق واسع، وتحقيق نتائج جديدة من من من بين الفنون (من حيث LAS) لمدة 10 لغات مختلفة.
تصف هذه الورقة منهجية لنقل المعرفة النحوية بين لغات الموارد عالية الموارد إلى لغات الموارد المنخفضة للغاية. تتألف المنهجية في الاستفادة من نموذج الانتباه الذاتي متعدد اللغات المحدد في مجموعات البيانات الكبيرة لتطوير نموذج متعدد اللغات متعدد اللغات يم
كن أن يتوقع التشريحات التبعية الشاملة لثلاثة لغات موارد منخفضة الأفريقية. تشمل التعليقات التوضيحية UD جزءا عالميا من الكلام والميزات المورفولوجية وميمرات وأشجار الاعتماد. في تجاربنا، استخدمنا تضييق كلمة متعددة اللغات وما مجموعه 11 تبعا عالميا Treebanks تم استخلاصها من ثلاثة لغات موارد عالية (الإنجليزية والفرنسية والنرويجية) وثلاثة لغات موارد منخفضة (Bambara و Wolof و Yoruba). قمنا بتطوير نماذج مختلفة لاختبار مجموعات لغة محددة تنطوي على لغات مراقبة معاصرة أو لغات ذات صلة وراثيا. تبين نتائج التجارب أن النماذج متعددة اللغات التي تنطوي على لغات عالية الموارد ولغات منخفضة الموارد مع الاتصال المعاصر بين بعضها البعض يمكن أن توفر نتائج أفضل من المجموعات التي تشمل فقط اللغات التي لا علاقة لها. فيما يتعلق بالعلاقات الوراثية البعيدة، لم نتمكن من استخلاص أي استنتاج بشأن تأثير مجموعات اللغة التي تنطوي على لغات الموارد المنخفضة المختارة، وهي Wolof و Yoruba.
نقترح هندسة محول الرسم البياني المتكرر للرسوم البيانية التلقائي (Rngtr) من أجل تحسين الرسوم البيانية التعسفية من خلال التطبيق العسكري لمحول الرسم البياني غير التلقائي إلى الرسم البياني وتطبيقه على تحليل التبعية النحوية.نوضح قوة وفعالية Rngtr على العد
يد من شركات التبعية، باستخدام نموذج التقييم المدرب مسبقا مع بيرت.نقدم أيضا محولات محول النحوية (Sytr)، وهي محلل غير متكرر مشابهة لنموذج التقييم الخاص بنا.يمكن Rngtr تحسين دقة مجموعة متنوعة من المحللين الأوليين في 13 لغة من التبعيات الشاملة TreeBanks والإنجليزية والصينية Benn Treebanks، والجوربوس الألماني Conll2009، وحتى تحسين النتائج الجديدة على النتائج الجديدة التي حققتها Systr، بشكل كبيرتحسين أحدث حديثة لجميع الشركات التي تم اختبارها.
المعردات التفسيرية مجردة للتوقعات النموذجية هي حاسمة في التطبيقات العملية.نحن نطور النماذج العصبية التي تمتلك عملية استنتاجية مفسضة لتحليل التبعية.تتبنى نماذجنا الاستدلال المستند إلى المثيل، حيث يتم استخراج حواف التبعية ومسمى من خلال مقارنةها بالحواف
في مجموعة تدريبية.يتم استخدام حواف التدريب صراحة للتنبؤات؛وبالتالي، من السهل فهم مساهمة كل حافة إلى التنبؤات.تظهر تجاربنا أن النماذج القائمة على مثيل لدينا تحقق دقة تنافسية مع النماذج العصبية القياسية ولديها المعقول المعقولة من التفسيرات القائمة على المثيل.
