تقييم استعادة محلل التبعية العالمي بنية الوساطة المسند عبر تحليل كمبيوتر

إن الانتعاش الدقيق لهيكل الوسائد الواسع من تحليل الاعتماد العالمي (UD) هو أساسي لمهام المصب مثل استخراج الأدوار الدلالية أو تمثيلات الأحداث. تقدم هذه الدراسة على المستحسن، تصنيف التسلسل الهرمي لعلاقات التبعية المستدلة الموجودة داخل تحليل UD. بمثابة دقة تصنيف Compchain بمثابة وكيل لقياس الانتعاش الدقيق لهيكل الوسائد المسند من الجمل مع التضمين. لقد قمنا بتحليل توزيع الملاحظة في Three Treebanks English English، EWT، اللثة والخطوط، وكشف أن هذه Treebanks متناثرة فيما يتعلق بالجمل مع هيكل الوسائد المسند يتضمن تضمين حجة مسند. قمنا بتقييم نماذج خط الأساس SPIPE (V1.2) Conll 2018 (V1.2) الأساس (COMPCHAIN) كمعقل كمبيوتر يعمل بنظام EWT و Gums and Lines UD Treebanks. تشير نتائجنا إلى أن هذه النماذج الأساسية الثلاثة تظهر الأداء الأكثر فقرا في الجمل مع هيكل الوسائد الواسع مع أكثر من مستوى من التضمين؛ استخدمنا Comprains لتوصيف الأخطاء التي تم إجراؤها بواسطة هذه المحللين وتقديم الأمثلة الحالية للضرائب الخاطئة التي تنتجها المحلل المحلل المحدد باستخدام المركبات. لقد قمنا أيضا بتحليل توزيع Comprains في 58 UDBanks UD UDBanks غير الإنجليزية ثم استخدمت Comprains لتقييم نموذج خط الأساس المشترك CONLL'18 لكل من هذه Treebanks. يوضح تحليلنا أن الأداء فيما يتعلق بتصنيف كمبيوتر يحترم ضعيفا ضعيفا فقط مع مقاييس التقييم الرسمية (LAS، MLAS و Blex). نحدد الثغرات في توزيع العقائد في العديد من UD Treebanks، وبالتالي توفير خارطة طريق لكيفية استكمال هذه Treebanks. نستنتج من خلال مناقشة كيفية توفر Comprains منظورا جديدا حول Sparsity بيانات التدريب لمحلل UD، وكذلك دقة تبييض UD الناتج.

Accurate recovery of predicate-argument structure from a Universal Dependency (UD) parse is central to downstream tasks such as extraction of semantic roles or event representations. This study introduces compchains, a categorization of the hierarchy of predicate dependency relations present within a UD parse. Accuracy of compchain classification serves as a proxy for measuring accurate recovery of predicate-argument structure from sentences with embedding. We analyzed the distribution of compchains in three UD English treebanks, EWT, GUM and LinES, revealing that these treebanks are sparse with respect to sentences with predicate-argument structure that includes predicate-argument embedding. We evaluated the CoNLL 2018 Shared Task UDPipe (v1.2) baseline (dependency parsing) models as compchain classifiers for the EWT, GUMS and LinES UD treebanks. Our results indicate that these three baseline models exhibit poorer performance on sentences with predicate-argument structure with more than one level of embedding; we used compchains to characterize the errors made by these parsers and present examples of erroneous parses produced by the parser that were identified using compchains. We also analyzed the distribution of compchains in 58 non-English UD treebanks and then used compchains to evaluate the CoNLL'18 Shared Task baseline model for each of these treebanks. Our analysis shows that performance with respect to compchain classification is only weakly correlated with the official evaluation metrics (LAS, MLAS and BLEX). We identify gaps in the distribution of compchains in several of the UD treebanks, thus providing a roadmap for how these treebanks may be supplemented. We conclude by discussing how compchains provide a new perspective on the sparsity of training data for UD parsers, as well as the accuracy of the resulting UD parses.