لي، أنا، وأنا IRE: آثار جودة النسخ التلقائي على العاطفة والسخرية والكشف عن الشخصية

في النشر، يجب أن تستخدم النظم التي تستخدم الكلام كمدخلات من النسخ الآلي.ومع ذلك، عادة عندما يتم تقييم هذه الأنظمة، يفترض أن نسخ الذهب.نحن ندرس صراحة تأثير أخطاء النسخ على الأداء المصاب لنظام متعدد الوسائط على ثلاثة مهام ذات صلة من ثلاث مجموعات بيانات: المشاعر والتهكية والكشف عن الشخصية.نضم ثلاثة أدوات نسخ منفصلة وإظهار أنه في حين أن جميع عمليات النسخ الآلية تنتشر أخطاء تؤثر بشكل كبير على أداء المصب، فإن أدوات المصدر المفتوح هي أسوأ من الأداة المدفوعة، على الرغم من أنها ليست دائما بشكل مباشر، ومعدلات خطأ Word لا ترتبط بشكل جيد مع أداء المصب.نجد كذلك أن إدراج ميزات الصوت يخفف جزئيا أخطاء النسخ، ولكن أن الاستخدام السذاجة لإعداد متعددة المهام لا.

In deployment, systems that use speech as input must make use of automated transcriptions. Yet, typically when these systems are evaluated, gold transcriptions are assumed. We explicitly examine the impact of transcription errors on the downstream performance of a multi-modal system on three related tasks from three datasets: emotion, sarcasm, and personality detection. We include three separate transcription tools and show that while all automated transcriptions propagate errors that substantially impact downstream performance, the open-source tools fair worse than the paid tool, though not always straightforwardly, and word error rates do not correlate well with downstream performance. We further find that the inclusion of audio features partially mitigates transcription errors, but that a naive usage of a multi-task setup does not.