تعلم السمات المعالجة من Audiobooks من خلال تحويل الصوت

إن المشكلات، والمكونات غير المعجمية في الكلام، تلعب دورا حاسما في التفاعل البشري البشري.من الصعب التدريب على النماذج المصممة للاعتراف بالمعلومات المشكلية، وخاصة مشاعر الكلام والأسلوب، بسبب مجموعات البيانات المحدودة المسمى المتاحة.في هذا العمل، نقدم إطارا جديدا يمكن شبكة عصبية لتعلم استخراج السمات المعالجة من الكلام باستخدام البيانات غير المشروح للعاطفة.نقوم بتقييم فائدة المدينات المستفادة على مهام المصب في الاعتراف بالمشاعر والكشف عن أسلوب التحدث، مما يدل على تحسينات كبيرة على الميزات الصوتية السطحية وكذلك على المدينات المستخرجة من مناهج أخرى غير مخالفة.يتيح عملنا أنظمة المستقبل الاستفادة من النازع التضمين المستفاد كمكون منفصل قادر على تسليط الضوء على المكونات المعيارية في الكلام.

Paralinguistics, the non-lexical components of speech, play a crucial role in human-human interaction. Models designed to recognize paralinguistic information, particularly speech emotion and style, are difficult to train because of the limited labeled datasets available. In this work, we present a new framework that enables a neural network to learn to extract paralinguistic attributes from speech using data that are not annotated for emotion. We assess the utility of the learned embeddings on the downstream tasks of emotion recognition and speaking style detection, demonstrating significant improvements over surface acoustic features as well as over embeddings extracted from other unsupervised approaches. Our work enables future systems to leverage the learned embedding extractor as a separate component capable of highlighting the paralinguistic components of speech.