CLUZH at SIGMORPHON 2021 Shared Task on Multilingual Grapheme-to-Phoneme Conversion: Variations on a Baseline

تصف هذه الورقة التقديم من قبل الفريق من قسم اللغويات الحاسوبية، جامعة زيوريخ، إلى مهمة تحويل Grapheme-To-PhoneMe متعددة اللغات 1 من تحدي Sigmorphon 2021 في الإعدادات المنخفضة والمتوسطة. التقديم هو اختلاف في نظامنا 2020 G2P، الذي يعمل كأساس لتحدي هذا العام. النظام عبارة عن محول عصبي يعمل على إجراءات تحرير صريحة ويتم تدريبه على التعلم التقليد. لهذا التحدي، جربنا التغييرات التالية: أ) شرائح صوتية تنبعث منها بدلا من صوتيات الشخصيات الفردية، ب) تسرب حرف الإدخال، ج) فك تشفير Mogrovifier LSTM (Melis et al.، 2019)، D) إثراء مدخلات وحدة فك الترميز حضر حاليا حرف الإدخال، ه) تشفير Bilstm الموازية، و) جدولة حجم الدفعة التكيفية. في الإعداد المنخفض، تحسن أفضل فرمنا على الأساس، ومع ذلك، في الإعداد المتوسطة، كان الأساس أقوى في المتوسط، على الرغم من أن تحسينات بعض اللغات يمكن ملاحظتها.

This paper describes the submission by the team from the Department of Computational Linguistics, Zurich University, to the Multilingual Grapheme-to-Phoneme Conversion (G2P) Task 1 of the SIGMORPHON 2021 challenge in the low and medium settings. The submission is a variation of our 2020 G2P system, which serves as the baseline for this year's challenge. The system is a neural transducer that operates over explicit edit actions and is trained with imitation learning. For this challenge, we experimented with the following changes: a) emitting phoneme segments instead of single character phonemes, b) input character dropout, c) a mogrifier LSTM decoder (Melis et al., 2019), d) enriching the decoder input with the currently attended input character, e) parallel BiLSTM encoders, and f) an adaptive batch size scheduler. In the low setting, our best ensemble improved over the baseline, however, in the medium setting, the baseline was stronger on average, although for certain languages improvements could be observed.