التقييم الجوهري نماذج اللغة لتبديل التعليمات البرمجية

غالبا ما يتم تقييم نماذج اللغة المستخدمة في التعرف على الكلام بشكل جوهري باستخدام حيرة في بيانات الاختبار أو غير مسبوق مع نظام التعرف على الكلام التلقائي (ASR). لا يرتبط التقييم السابق دائما بشكل جيد مع أداء ASR، في حين أن الأخير يمكن أن يكون محددا لأنظمة ASR معينة. اقترح العمل الحديث لتقييم نماذج اللغة باستخدامها لتصنيف جمل الحقيقة الأرضية بين جمل مماثلة للالعناد الصوتي الناتج عن محول الدولة الدقيقة. مثل هذا التقييم هو افتراض أن الجمل التي تم إنشاؤها غير صحيحة لغويا. في هذه الورقة، وضعنا أولا هذا الافتراض موضع السؤال، ومراقبة أن الجمل التي تم إنشاؤها بدلا من ذلك قد تكون صحيحة في كثير من الأحيان لغويا عندما تختلف عن الحقيقة الأرضية بواسطة تحرير واحد فقط. ثانيا، أظهرنا أنه باستخدام بيرت متعددة اللغات، يمكننا تحقيق أداء أفضل من العمل السابق على مجموعات بيانات تبديل التعليمات البرمجية. تطبيقنا متاح علنا ​​على Github في https://github.com/sikfeng/language-modelling-for-code-Switching.

Language models used in speech recognition are often either evaluated intrinsically using perplexity on test data, or extrinsically with an automatic speech recognition (ASR) system. The former evaluation does not always correlate well with ASR performance, while the latter could be specific to particular ASR systems. Recent work proposed to evaluate language models by using them to classify ground truth sentences among alternative phonetically similar sentences generated by a fine state transducer. Underlying such an evaluation is the assumption that the generated sentences are linguistically incorrect. In this paper, we first put this assumption into question, and observe that alternatively generated sentences could often be linguistically correct when they differ from the ground truth by only one edit. Secondly, we showed that by using multi-lingual BERT, we can achieve better performance than previous work on two code-switching data sets. Our implementation is publicly available on Github at https://github.com/sikfeng/language-modelling-for-code-switching.