Subword Mapping and Anchoring across Languages

تعتمد أنظمة متعددة اللغات متعددة اللغات على المفردات المشتركة التي تغطي جميع اللغات التي تغطي بما فيه الكفاية. تحقيقا لهذه الغاية، فإن النهج البسيط والمستعمل بشكل متكرر يستفيد من مفهليات الكلمات الفرعية التي تم إنشاؤها بشكل مشترك على عدة لغات. نحن نفترض أن مثل هذه المفردات هي فرعية نفسها بسبب الإيجابيات الخاطئة (الكلمات الفرعية المماثلة مع معاني مختلفة عبر اللغات) والسلبيات الخاطئة (كلمات فرعية مختلفة مع معاني مماثلة). لمعالجة هذه المشكلات، نقترح رسم الخرائط عن طريق الكلمات الفرعية ومثبتة عبر اللغات (SMALA)، وهي طريقة لبناء مخصصات الكلمات الفرعية ثنائية اللغة. تقوم SMALA باستخراج محاذاة الكلمات الفرعية باستخدام تقنية رسم الخرائط غير المزودة بعملية رسم الخرائط واستخدامها لإنشاء مراسي عبر اللغات بناء على أوجه تشابه الكلمات الفرعية. نوضح فوائد SMALA للاستدلال اللغوي للغة الطبيعية المتبادلة (XNLI)، حيث يحسن تحويل صفرية إلى لغة غير مرئية دون بيانات مهمة، ولكن فقط من خلال تقاسم تضييق الكلمات الفرعية. علاوة على ذلك، في الترجمة الآلية العصبية، نوضح أن مفردات الكلمة الفرعية المشتركة التي تم الحصول عليها مع Smala تؤدي إلى أعلى درجات بلو على أحكام تحتوي على العديد من الإيجابيات الخاطئة والسلبيات الخاطئة.

State-of-the-art multilingual systems rely on shared vocabularies that sufficiently cover all considered languages. To this end, a simple and frequently used approach makes use of subword vocabularies constructed jointly over several languages. We hypothesize that such vocabularies are suboptimal due to false positives (identical subwords with different meanings across languages) and false negatives (different subwords with similar meanings). To address these issues, we propose Subword Mapping and Anchoring across Languages (SMALA), a method to construct bilingual subword vocabularies. SMALA extracts subword alignments using an unsupervised state-of-the-art mapping technique and uses them to create cross-lingual anchors based on subword similarities. We demonstrate the benefits of SMALA for cross-lingual natural language inference (XNLI), where it improves zero-shot transfer to an unseen language without task-specific data, but only by sharing subword embeddings. Moreover, in neural machine translation, we show that joint subword vocabularies obtained with SMALA lead to higher BLEU scores on sentences that contain many false positives and false negatives.