أحدث دراسات لاستخراج العلاقات (إعادة) الاستفادة من شجرة التبعية من جملة الإدخال لإدماج المعلومات السياقية التي يحركها بناء الجملة لتحسين الأداء النموذجي، مع القليل من الاهتمام المدفوع للقيود حيث محلل التبعية عالية الجودة في معظم الحالات غير متوفرة، خ
اصة في سيناريوهات البناء. لمعالجة هذا القيد، في هذه الورقة، نقترح شبكات اتصال بياني اختصاصية (A-GCN) لتحسين الأساليب العصبية بطريقة غير مرئية لبناء الرسم البياني للسياق، دون الاعتماد على وجود محلل التبعية. على وجه التحديد، نقوم بإنشاء الرسم البياني من N-Grams المستخرجة من معجم مبني من المعلومات المتبادلة غير التاريخية (PMI) وتطبيق الانتباه عبر الرسم البياني. لذلك، يتم مرجح أزواج كلمة مختلفة من السياقات داخل وعبر N-Grams في النموذج وتسهيل إعادة استخدامها وفقا لذلك. النتائج التجريبية مع المزيد من التحليلات على مجموعات بيانات قياسية باللغة الإنجليزية لإظهار فعالية نهجنا، حيث يلاحظ أداء حديثة على كلا البيانات.
بفضل القدرة التعليمية القوية للتعلم التعلم العميق، خاصة تقنيات ما قبل التدريب مع فقدان نموذج اللغة، حققت تحليل التبعية دفعة كبيرة في الأداء في السيناريو داخل المجال مع بيانات التدريب المسمى الوفيرة للمجالات المستهدفة. ومع ذلك، يتعين على مجتمع التحليل
مواجهة الإعداد الأكثر واقعية حيث ينخفض أداء التحليل بشكل كبير عند وجود البيانات المسمى فقط لعدة مجالات خارجية ثابتة. في هذا العمل، نقترح نموذجا جديدا لتحليل التبعية عبر المصدر متعدد الاستخدامات. يتكون النموذج من مكونين، I.E.، شبكة توليد المعلمة لتمييز الميزات الخاصة بالمجال، وشبكة خصومة لتعلم التمثيلات الثابتة للمجال. تظهر التجارب في مجموعة بيانات NLPCC-2019 التي تم إصدارها مؤخرا لمحافلات التبعية متعددة المجال أن طرازنا يمكن أن يحسن باستمرار أداء أداء تحليل المجال عبر النطاق بنقطة حوالي 2 نقطة في دقة المرفقات المسمى (LAS) عبر خطوط خطوط خطوط قوية محسنة من بيرت. يتم إجراء تحليل مفصل للحصول على المزيد من الأفكار حول مساهمات المكونين.
يتخلص يدويا على بنك Treebank هو تستغرق وقتا طويلا وكثيفة العمالة. نحن نقوم بإجراء تجارب تحليل التبعية عبر اللغات المتبادلة، حيث نربع المحلل المحلل على لغة واحدة واختبار لغتهم المستهدفة. كحالة الاختبار الخاصة بنا، نستخدم Xibe، لغة تجميل أقل من الموارد
. نفترض أن اختيار لغة مرتبطة ارتباطا وثيقا لأن لغة المصدر ستوفر نتائج أفضل من الأقارب البعيدين. ومع ذلك، ليس من الواضح كيفية تحديد تلك اللغات ذات الصلة عن كثب. نحن نحقق في ثلاث طرق مختلفة: اختيار الأقرب من اللغة النموذجية، باستخدام Langrank، واختيار اللغة الأكثر مماثلة تعتمد على الحيرة. نقوم بتدريب نماذج تحليل اللغات المحددة باستخدام udify واختبار على أنواع مختلفة من بيانات Xibe. تظهر النتائج أن اللغات المختارة بناء على التصنيفات وعشرات الحيرة تتفوق على تلك المتوقعة من قبل Langrank؛ اليابانية هي لغة المصدر المثلى. عند تحديد لغة المصدر، فإن القرب من اللغة المستهدفة هو أكثر أهمية من أحجام التدريب الكبيرة. يتأثر التحليل أيضا بخلافات النوع، لكنها لها تأثير ضئيل طالما أن البيانات التدريبية على الأقل معقدة مثل الهدف.
تركز معالجة اللغة الطبيعية الحالية بقوة على زيادة الدقة.يأتي التقدم بتكلفة نماذج فائقة الثقيلة مع مئات الملايين أو حتى مليارات المعلمات.ومع ذلك، فإن المهام النحوية البسيطة مثل وضع العلامات على جزء من الكلام (POS) أو تحليل التبعية أو التعرف على الكيان
المسمى (NER) لا تحتاج إلى أكبر النماذج لتحقيق نتائج مقبولة.تمشيا مع هذا الافتراض، نحاول تقليل حجم النموذج الذي ينفذ بشكل مشترك جميع المهام الثلاثة.نقدم Comboner: أداة خفيفة الوزن، أوامر ذات حجم أصغر من المحولات الحديثة.يعتمد على مدمج الكلمات الفرعية المدربة مسبقا بنية الشبكة العصبية المتكررة.يعمل COMBONER على بيانات اللغة البولندية.يحتوي النموذج على مخرجات لوضع العلامات على نقاط البيع والتحليل التبعية و NER.تحتوي ورقةنا على بعض الأفكار من ضبط النموذج الدقيق والتقارير عن نتائجها الإجمالية.
تتداول هذه الورقة عن عملية بناء أول أداة تحويل الدائرة إلى التبعية التركية. نقطة الانطلاق لهذا العمل هي دراسة سابقة التي تحولت فيها 10 آلاف من أشجار هيكل العبارة يدويا إلى تركية من Corpus الأصلي Penntreebank. ضمن نطاق هذا المشروع، تم تحويل هذه العبار
ات التركية هذه الأشجار تلقائيا إلى هياكل التبعية على غرار UD، باستخدام خوارزمية تستند إلى القواعد وخوارزمية لتعلم الآلة محددة لمتطلبات اللغة التركية. تمت مقارنة نتائج الخوارزمية وكلاهما أن نهج التعلم الآلي أثبت أنه أكثر دقة من الخوارزمية القائمة على القواعد. تم تنقيح الناتج من قبل فريق من اللغويين. اتخذت الإصدارات المكررة عباحيات قياسية ذهبية لتقييم الخوارزميات. بالإضافة إلى مساهمتها في مشروع UD مع مجموعة بيانات كبيرة من 10،000 شجرة التبعية التركية، فإن هذا المشروع يفي أيضا فجوة مهمة للأداة التحويل التركية، مما يتيح التعدد السريع من شركة التبعية التي يمكن استخدامها لتدريب محلل التبعية الأفضل وبعد
أدت إدخال مذكرات الكلمات المحول المستندة إلى المحولات المدربين مسبقا إلى تحسينات كبيرة في دقة المحللين المستندة إلى الرسم البياني للأطر مثل التبعيات العالمية (UD). ومع ذلك، يختلف الأمر السابق في الأبعاد المختلفة، بما في ذلك اختيارهم لنماذج اللغة المد
ربة مسبقا وما إذا كانوا يستخدمون طبقات LSTM. مع تهدف إلى تحرير آثار هذه الخيارات وتحديد بنية بسيطة ولكنها قابلة للتطبيق على نطاق واسع، نقدم خطوات، ومحلل التبعية المستندة إلى الرسم البياني المعياري الجديد. باستخدام خطوات، نقوم بإجراء سلسلة من التحليلات على OD Corpora من مجموعة متنوعة من اللغات. نجد أن اختيار المدينات المدربة مسبقا له كبير تأثير على أداء المحلل وتحديد XLM-R كخيار قوي عبر اللغات في دراستنا. لا توفر إضافة طبقات LSTM أي فوائد عند استخدام Embeddings القائمة على المحولات. قد يؤدي إعداد إعدادات التدريب متعددة المهام إلى إخراج ميزات UD إضافية. أخذ هذه الأفكار معا، نقترح بنية ومحزين بسيطة ولكنها قابلة للتطبيق على نطاق واسع، وتحقيق نتائج جديدة من من من بين الفنون (من حيث LAS) لمدة 10 لغات مختلفة.
إن الانتعاش الدقيق لهيكل الوسائد الواسع من تحليل الاعتماد العالمي (UD) هو أساسي لمهام المصب مثل استخراج الأدوار الدلالية أو تمثيلات الأحداث. تقدم هذه الدراسة على المستحسن، تصنيف التسلسل الهرمي لعلاقات التبعية المستدلة الموجودة داخل تحليل UD. بمثابة د
قة تصنيف Compchain بمثابة وكيل لقياس الانتعاش الدقيق لهيكل الوسائد المسند من الجمل مع التضمين. لقد قمنا بتحليل توزيع الملاحظة في Three Treebanks English English، EWT، اللثة والخطوط، وكشف أن هذه Treebanks متناثرة فيما يتعلق بالجمل مع هيكل الوسائد المسند يتضمن تضمين حجة مسند. قمنا بتقييم نماذج خط الأساس SPIPE (V1.2) Conll 2018 (V1.2) الأساس (COMPCHAIN) كمعقل كمبيوتر يعمل بنظام EWT و Gums and Lines UD Treebanks. تشير نتائجنا إلى أن هذه النماذج الأساسية الثلاثة تظهر الأداء الأكثر فقرا في الجمل مع هيكل الوسائد الواسع مع أكثر من مستوى من التضمين؛ استخدمنا Comprains لتوصيف الأخطاء التي تم إجراؤها بواسطة هذه المحللين وتقديم الأمثلة الحالية للضرائب الخاطئة التي تنتجها المحلل المحلل المحدد باستخدام المركبات. لقد قمنا أيضا بتحليل توزيع Comprains في 58 UDBanks UD UDBanks غير الإنجليزية ثم استخدمت Comprains لتقييم نموذج خط الأساس المشترك CONLL'18 لكل من هذه Treebanks. يوضح تحليلنا أن الأداء فيما يتعلق بتصنيف كمبيوتر يحترم ضعيفا ضعيفا فقط مع مقاييس التقييم الرسمية (LAS، MLAS و Blex). نحدد الثغرات في توزيع العقائد في العديد من UD Treebanks، وبالتالي توفير خارطة طريق لكيفية استكمال هذه Treebanks. نستنتج من خلال مناقشة كيفية توفر Comprains منظورا جديدا حول Sparsity بيانات التدريب لمحلل UD، وكذلك دقة تبييض UD الناتج.
نحن تصف محلول Nuig لمهمة IWPT 2021 بمهمة التعبير المعزز (ED) معزز بلغات متعددة.بالنسبة لهذه المهمة المشتركة، نقترح وتقييم محلل إد المحلي المستند SEQ2SEQ SEQ2SEQ ومقرها SEQ2SEQ الذي يتنبأ بمجموعة ED-Parse من جملة مدخلات معينة كأسلسلة موضعية موضعية للن
موذج النسبي.نموذجنا المقترح هو شبكة عصبية متعددة الاستخدامات تؤدي خمس مهام رئيسية في وقت واحد وهي وضع علامات UPOS، ووضع العلامات UFEAT، والليمون، والتحليل التبعية والحد من التحليل.علاوة على ذلك، نستخدم النموذج اللغوي المتاح في قاعدة بيانات Wals لتحسين قدرة محللنا المحترفين المقترحين على الانتقال عبر اللغات.تشير النتائج إلى أن SEQ2SEQ ED-Parser المقترح لدينا يؤدي على قدم المساواة مع محلل ED-Art-Art على الرغم من وجود علامة أبسط.
تصف هذه الورقة منهجية لنقل المعرفة النحوية بين لغات الموارد عالية الموارد إلى لغات الموارد المنخفضة للغاية. تتألف المنهجية في الاستفادة من نموذج الانتباه الذاتي متعدد اللغات المحدد في مجموعات البيانات الكبيرة لتطوير نموذج متعدد اللغات متعدد اللغات يم
كن أن يتوقع التشريحات التبعية الشاملة لثلاثة لغات موارد منخفضة الأفريقية. تشمل التعليقات التوضيحية UD جزءا عالميا من الكلام والميزات المورفولوجية وميمرات وأشجار الاعتماد. في تجاربنا، استخدمنا تضييق كلمة متعددة اللغات وما مجموعه 11 تبعا عالميا Treebanks تم استخلاصها من ثلاثة لغات موارد عالية (الإنجليزية والفرنسية والنرويجية) وثلاثة لغات موارد منخفضة (Bambara و Wolof و Yoruba). قمنا بتطوير نماذج مختلفة لاختبار مجموعات لغة محددة تنطوي على لغات مراقبة معاصرة أو لغات ذات صلة وراثيا. تبين نتائج التجارب أن النماذج متعددة اللغات التي تنطوي على لغات عالية الموارد ولغات منخفضة الموارد مع الاتصال المعاصر بين بعضها البعض يمكن أن توفر نتائج أفضل من المجموعات التي تشمل فقط اللغات التي لا علاقة لها. فيما يتعلق بالعلاقات الوراثية البعيدة، لم نتمكن من استخلاص أي استنتاج بشأن تأثير مجموعات اللغة التي تنطوي على لغات الموارد المنخفضة المختارة، وهي Wolof و Yoruba.
AMR (تمثيل المعنى التجريدي) و EDS (هياكل التبعية الابتدائية) هي تمثيلين لمعنى شعبيتين في NLP / NLU.AMR أكثر مجردة ومفاهيمية، في حين أن EDS هو أعلى مستوى منخفض، أقرب إلى الهياكل المعجمية للجمل المحددة.وبالتالي ليس من المستغرب أن تحليل EDS أسهل من تحلي
ل عمرو.في هذا العمل، نفكر في استخدام معلومات من تحليل EDS للمساعدة في تحسين أداء تحليل عمرو.نعتمد محلل محلل ومقره انتقالي ويقترح بإضافة الرسوم البيانية EDS كيزات دلالة إضافية باستخدام تشفير رسم بياني يتكون من LSTM LETER وطبقة GCN.تبين نتائجنا التجريبية أن المعلومات الإضافية من تحليل EDS يعطي بالفعل دفعة إلى أداء محلل عمرو الأساسي المستخدمة في تجاربنا.
