Denoising Word Embeddings عن طريق المتوسط في مساحة مشتركة

نقدم نهجا جديدا لتجانس وتحسين جودة Adgeddings Word.نحن نعتبر طريقة لتدبير تضمين كلمة تم تدريبها على نفس الكملات ولكن مع تهيئة مختلفة.نقوم بتعريف جميع النماذج إلى مساحة متجهية مشتركة باستخدام تطبيق فعال لإجراءات تحليل Scristes (GPA) المعمم (GPA)، تستخدم سابقا في ترجمة Word متعددة اللغات.يوضح تمثيل الكلمات لدينا تحسينات متسقة على النماذج الأولية وكذلك متوسطها التبسيط، على مجموعة من المهام.نظرا لأن التمثيلات الجديدة أكثر استقرارا وموثوقة، فهناك تحسن ملحوظ في تقييمات كلمة نادرة.

We introduce a new approach for smoothing and improving the quality of word embeddings. We consider a method of fusing word embeddings that were trained on the same corpus but with different initializations. We project all the models to a shared vector space using an efficient implementation of the Generalized Procrustes Analysis (GPA) procedure, previously used in multilingual word translation. Our word representation demonstrates consistent improvements over the raw models as well as their simplistic average, on a range of tasks. As the new representations are more stable and reliable, there is a noticeable improvement in rare word evaluations.