استكشاف تكامل النمذجة E2E ASR ونطق النطق للكشف عن أخطاء أخطاء الإنجليزية

كان هناك طلب متزايد لتطوير أنظمة التدريب اللغوية بمساعدة الكمبيوتر (النقص)، والتي يمكن أن توفر ملاحظات حول سوء الأخطاء وتسهيل المتعلمين اللغة الثانية (L2) لتحسين إجادتها الناطقة من خلال الممارسة المتكررة. نظرا لنقص الكلام غير الأصلي لتدريب الوحدة النمطية للتعرف على الكلام التلقائي (ASR) من نظام النقيب، فإن أداء الكشف عن الأخطاء السخطية المقابلة غالبا ما يتأثر بشكل غالبا بواسطة unffect ASR. وإذ تدرك هذه الأهمية، فإننا في هذه الورقة طرحت طريقة اكتشاف أخطاء أخطاء في مرحلتين. في المرحلة الأولى، تتم معالجة الخطاب الذي ينطقه متعلم L2 من خلال وحدة ASR المناسبة لإنتاج فرضيات تسلسل الهاتف N-Best. في المرحلة الثانية، يتم تغذية هذه الفرضيات في نموذج النطق الذي يسعى إلى التنبؤ بأمانة بفرض رسوم تسلسل الهاتف الذي هو على الأرجح واضحا من قبل المتعلم، وذلك لتحسين أداء اكتشاف أخطاء أخطاء. أجرت التجارب التجريبية مجموعة بيانات قياسية باللغة الإنجليزية تأكيد فائدة طريقتنا.

There has been increasing demand to develop effective computer-assisted language training (CAPT) systems, which can provide feedback on mispronunciations and facilitate second-language (L2) learners to improve their speaking proficiency through repeated practice. Due to the shortage of non-native speech for training the automatic speech recognition (ASR) module of a CAPT system, the corresponding mispronunciation detection performance is often affected by imperfect ASR. Recognizing this importance, we in this paper put forward a two-stage mispronunciation detection method. In the first stage, the speech uttered by an L2 learner is processed by an end-to-end ASR module to produce N-best phone sequence hypotheses. In the second stage, these hypotheses are fed into a pronunciation model which seeks to faithfully predict the phone sequence hypothesis that is most likely pronounced by the learner, so as to improve the performance of mispronunciation detection. Empirical experiments conducted a English benchmark dataset seem to confirm the utility of our method.