القوة في الأرقام: متوسط وتجميع تأثيرات التجميع في مزيج من الخبراء لتحليل التبعية القائمة على الرسم البياني

نحن نراجع ميزتين من مزيج من نماذج الخبراء (MOE) التي نسميها وتأثيرات التجميع في سياق محلل التبعية القائمة على الرسوم البيانية المستفادة في إطار احتمامي إشراف. يتوافق المتوسط ​​مع مزيج الفرقة من المحللين وهو مسؤول عن تخفيض التباين الذي يساعد على استقرار وتحسين دقة التحليل. يصف التجميع طاقة نماذج وزارة التعليم لتعطي المزيد من الائتمان للخبراء يعتقد أنه أكثر دقة بالنظر إلى المدخلات. على الرغم من الواعدة، يصعب تحقيق ذلك، خاصة دون بيانات إضافية. نقوم بتصميم إعداد تجريبي لدراسة تأثير هذه الآثار. في حين أن المتوسط ​​مفيد دائما، فإن التجميع يتطلب تقنيات التهيئة والاستقرار جيدة، لكن مزاياها على مدى المتوسط ​​يبدو أنها تختفي في نهاية المطاف عندما يوجد عدد كاف من الخبراء. كمنتج حسب المنتج، نوضح كيف يؤدي ذلك إلى نتائج أحدث النتائج على PTB و Conll09 Treebank الصينية، مع انخفاض التباين عبر التجارب.

We review two features of mixture of experts (MoE) models which we call averaging and clustering effects in the context of graph-based dependency parsers learned in a supervised probabilistic framework. Averaging corresponds to the ensemble combination of parsers and is responsible for variance reduction which helps stabilizing and improving parsing accuracy. Clustering describes the capacity of MoE models to give more credit to experts believed to be more accurate given an input. Although promising, this is difficult to achieve, especially without additional data. We design an experimental set-up to study the impact of these effects. Whereas averaging is always beneficial, clustering requires good initialization and stabilization techniques, but its advantages over mere averaging seem to eventually vanish when enough experts are present. As a by product, we show how this leads to state-of-the-art results on the PTB and the CoNLL09 Chinese treebank, with low variance across experiments.