قياس أنظمة ASR بناء على جهود ما بعد التحرير وتحليل الأخطاء

تقدم هذه الورقة تقييما مقارنا لأربعة أنظمة ASR التجارية التي يتم تقييمها وفقا لجهود التحرير المطلوبة للوصول إلى "الجودة" القابلة للنشر ووفقا لعدد الأخطاء التي ينتجونها.لمهمة التوضيحية الخطأ، يتم اقتراح نموذج خطأ أخطاء خطأ في النسخ.تسعى هذه الدراسة أيضا إلى فحص ما إذا كان هناك اختلاف في أداء هذه الأنظمة بين المتحدثين باللغة الإنجليزية الأصلية وغير الأصلية.تشير النتائج التجريبية إلى أنه من بين النظم الأربعة، تحصل Trint على أفضل الدرجات.ولوحظ أيضا أن معظم الأنظمة تؤدي بشكل ملحوظ بشكل ملحوظ مع مكبرات الصوت الأصلية وأن جميع الأنظمة أكثر عرضة لأخطاء الطلاقة.

This paper offers a comparative evaluation of four commercial ASR systems which are evaluated according to the post-editing effort required to reach publishable'' quality and according to the number of errors they produce. For the error annotation task, an original error typology for transcription errors is proposed. This study also seeks to examine whether there is a difference in the performance of these systems between native and non-native English speakers. The experimental results suggest that among the four systems, Trint obtains the best scores. It is also observed that most systems perform noticeably better with native speakers and that all systems are most prone to fluency errors.