تستند دراستنا ذات العنوان "اندماج المونولوج في مسرح بومارشيه" بشكل أساسي إلى العناصر التي تسمح بربط المونولوج بالنص المسرحي بشكل عام والعناصر التي تمنحه استقلاليته, هذا الشكل النصي المسرحي ، الذي يتميز بنوع من الاستقلالية النسبية ، يحافظ في الوقت نفس
ه على تسلسله وترابطه وتماسكه مع بقية النص المسرحي.
غالباً ما تكون بداية المونولوج مشروطة بنوع من الحدود الشكلية التوسطية التي تعلن الإنتقال إلى مجال نطق آخر. في الوقت نفسه ، نجد في المونولوج عدة مجالات نطق في وجود أو عدم وجود إشارات وسيطة: المجال النطقي الرئيسي الذي هو مجال المتحدث ، المجال الابلاغي للكاتب المسرحي الذي يتميز بتدخلاته من لحظة إلى أخرى من خلال الموضحات الإخراجية الداخلية، والإشارات المشهدية, لخ.
يؤدي المتحدث في المونولوج أحيانًا دور الناقل الذي ينقل كلمات الآخرين ، وهذا يقودنا إلى موضوع الخطاب المنقول ،والكلام المباشر ، والكلام غير المباشر ، والكلام الحر غير المباشر ، إلخ. وإلى تعددية الأصوات في الكلام.
تعد استعادة الترقيم متطلبات أساسية لقراءة النص المستمدة من أنظمة التعرف على الكلام التلقائي (ASR). تقتصر معظم الحلول المعاصرة على التنبؤ ببعض العلامات التي تحدث بشكل متكرر، مثل الفترات والفواصل وعلامات الاستفهام - وفقط واحد لكل كلمة. ومع ذلك، في لغة
مكتوبة، نتعامل مع عدد أكبر بكثير من أحرف علامات الترقيم (مثل الأقواس الواصلية، وما إلى ذلك)، ومجموعاتها (مثل الأقواس متبوعة ب DOT). لا يمكن دائما تقليل علامات الترقيم هذه بشكل لا لبس فيه إلى مجموعة أساسية من العلامات الأكثر تدويرا. في هذا العمل، نقيم عدة طرق في مهمة إعادة إعمار علامات الترقيم الشاملة. نحن نقوم بإجراء تجارب على الفورما المتوازي لغغتين مختلفتين، والإنجليزية والبولندية - اللغات مع التشكل البسيط والمعقد نسبيا، على التوالي. نحن نحقق أيضا في تأثير بناء نموذج على علامات ترقيم شاملة حول جودة مهام ترقيم الترقيم الأساسية
اكتسبت النماذج المستندة إلى المحولات شعبية متزايدة تحقق الأداء الحديث في العديد من مجالات البحث بما في ذلك ترجمة الكلام. ومع ذلك، فإن التعقيد التربيعي للمحول فيما يتعلق بديل تسلسل الإدخال يمنع اعتماده كما هو الحال مع إشارات صوتية، والتي تمثل عادة بال
تسلسلات الطويلة. اللجوء الحلول الحالية إلى ضغط أساسي أساسي على أساس أخذ العينات الثابتة لميزات الصوت الخام. لذلك، فإن المعلومات اللغوية المفيدة المحتملة غير قابلة للوصول إلى طبقات أعلى مستوى في الهندسة المعمارية. لحل هذه المشكلة، نقترح الكلمة، وهي عبارة عن بنية، بفضل انخفاض استخدام الذاكرة في طبقات الاهتمام، وتجنب ضغط المخلفات الأولية والمعلومات المجامعة فقط على مستوى أعلى وفقا لمعايير لغوية أكثر استنارة. تظهر التجارب على ثلاث أزواج اللغات (en → de / es / nl) فعالية حلنا، مع مكاسب تصل إلى 0.8 بلو على Corpus القياسية يجب أن تكون ميديا وعلى ما يصل إلى 4.0 بلو في سيناريو منخفض الموارد.
أصبح توحيد التعلم الصوتي واللغوي أمرا مهما بشكل متزايد بنقل المعرفة المستفادة بشأن وفرة بيانات لغة الموارد عالية الموارد للحصول على التعرف على الكلام المنخفض الموارد. الأساليب الحالية ببساطة تتالي النماذج الصوتية واللغة المدربة مسبقا لتعلم النقل من ا
لكلام إلى النص. ومع ذلك، فإن كيفية حل تناقض التمثيل في الكلام والنص غير مستكشفة، مما يعيق استخدام المعلومات الصوتية واللغوية. علاوة على ذلك، يعمل الأمر السابق ببساطة استبدال طبقة تضمين نموذج اللغة المدربة مسبقا مع الميزات الصوتية، والتي قد تتسبب في مشكلة نسيان الكارثي. في هذا العمل، نقدم WAV-Bert، وهي طريقة تعليمية تعاونية وصوتية وممثلة على الصمامات والاستفادة من المعلومات السياقية من الكلام والنص. على وجه التحديد، نقوم بتحديد نموذج صوت صوتي مدرب مسبقا (WAV2VEC 2.0) ونموذج لغة (Bert) في إطار قابل للتدريب من طرف إلى نهاية. تم تصميم وحدة تجميع التمثيل لتجميع التمثيل الصوتي واللغوي، ويتم تقديم وحدة الانتباه التضمين لإدماج المعلومات الصوتية في بيرت، والتي يمكن أن تسهل بفعالية تعاون نماذج مدربة مسبقا وبالتالي تعزيز تعلم التمثيل. تشير التجارب الواسعة إلى أن لدينا WAV-Bert تنفأ بشكل كبير على النهج الحالية وتحقيق الأداء الحديث في التعرف على الكلام المنخفض الموارد.
غالبا ما تكون أنظمة المحادثة الموجودة في معظمها، مما يفترض أن تصطب المستخدمين سيتبعون عن كثب نظام ontology. ومع ذلك، في سيناريوهات العالم الواقعي، من المستحسن للغاية أن يستخدم المستخدمون التحدث بحرية وبطبيعة الحال. في هذا العمل، نحاول بناء نظام حوار
تركز على المستخدمين لتوصية المحادثة. نظرا لعدم وجود رسم خرائط نظيفة لنكل النموذج المجاني للمستخدم لعلاج الأطباق، فإننا نقوم أولا بنموذج تفضيلات المستخدمين كتوزيعات مقدرة على نظام OnTology ونصوص المستخدمين على هذه التوزيعات. إن تعلم مثل هذه الرسوم الخرائط يشكل تحديات جديدة على التفكير في أنواع مختلفة من المعرفة، بدءا من المعرفة العفاهية، ومعرفة المنطقية لحالات المستخدمين الخاصة. تحقيقا لهذه الغاية، نبني مجموعة بيانات جديدة تسمى الدقيقة التي تركز على هذه الإعدادات الواقعية، مع حوارات 5.1k، تتحول 26 ألفا إلى ردود المستخدم عالية الجودة. نقوم بإجراء تجارب، مما يدل على حد سواء فائدة وتحديات إعداد مشكلتنا. نعتقد أن الدقة يمكن أن يكون بمثابة مورد قيمة لدفع الأبحاث الحالية من النظام المركزي للعميل إلى النظام المركزي للمستخدم. الرمز والبيانات متاح علنا.
بسبب شعبية خدمات مساعد الحوار الذكي، أصبح التعرف على عاطفي الكلام أكثر وأكثر أهمية.في التواصل بين البشر والآلات، يمكن للتعرف على العاطفة وتحليل العاطفة تعزيز التفاعل بين الآلات والبشر.تستخدم هذه الدراسة نموذج CNN + LSTM لتنفيذ معالجة العاطفة الكلام (
SER) والتنبؤ بها.من النتائج التجريبية، من المعروف أن استخدام نموذج CNN + LSTM يحقق أداء أفضل من استخدام نموذج NN التقليدي.
نظرا للتقدم المؤخرا لمعالجة اللغات الطبيعية، قامت عدة أعمال بتطبيق نموذج اللغة الملثم المدرب مسبقا (MLM) من Bert إلى ما بعد تصحيح التعرف على الكلام.ومع ذلك، فإن النماذج القائمة المدربة مسبقا فقط تنظر فقط في التصحيح الدلالي أثناء إهمال السمات الصوتية
للكلمات.سوف يؤدي الإصلاح الدلالي الوحيد فقط إلى تقليل الأداء لأن الأخطاء هوموفونية شائعة إلى حد ما في الصيني العسكري.في هذه الورقة، اقترحنا نهجا جديدا لاستغلال التمثيل السياقي بشكل جماعي والمعلومات الصوتية بين الخطأ واستبدال المرشحين لتخفيف معدل الخطأ الصيني العسكري.أظهرت نتائج تجربتنا على مجموعات بيانات التعرف على الكلام العالمي الحقيقي أن طريقةنا المقترحة لها من الواضح أن خفضت من النموذج الأساسي، مما استخدم برت مزاملا مدربا مسبقا كصاصر.
في السنوات الأخيرة، يمكن لنظام توليف الكلام إنشاء خطاب بجودة الكلام العالية. ومع ذلك، لا يزال نظام النص إلى كلام متعدد الكلام (TTS) يتطلب كمية كبيرة من بيانات الكلام لكل مكبر صوت مستهدف. في هذه الدراسة، نود إنشاء نظام TTS متعدد المتكلم من خلال دمج وح
دات فرعية في نظام توليف الكلام المصنوع من الشبكة العصبية المصطنعة لتخفيف هذه المشكلة. تتمثل الوحدة الأولى في إضافة مكبر صوت إلى وحدة الترميز لتوليد الكلام في حين أن كمية كبيرة من بيانات الكلام من السماعة المستهدفة ليست ضرورية. بالنسبة لطريقة تضمين المتكلم، في دراستنا، يتم مقارنة طريقتان رئيسيتان لضمان المتكلم، وهي تضمين مكبر الصوت التضمين وإدماج تحويل الصوت، بتحديد ما هو مناسب لنظام TTS الشخصي الخاص بنا. ثانيا، استبدلنا الوحدة النمطية الإضافية التقليدية، التي تم تبنيها لتعزيز تسلسل طيف الإخراج، لزيادة تحسين جودة خطاب الكلام الذي تم إنشاؤه. هنا، يتم استخدام شبكة ما بعد المرشح. أخيرا، أظهرت نتائج التجربة أن تضمين المتكلم مفيد من خلال إضافةه إلى وحدة ترميز ونطق الكلام الناتج ينظر بالفعل إلى السماعة المستهدفة. أيضا، شبكة ما بعد التصفية ليست فقط تحسين جودة الكلام وتعزز أيضا تشابه المتكلم من كلام الكلام الناتج. يمكن لنظام TTS المصمم أن يولد كلام الكلام للمتكلم المستهدف في أقل من 2 ثانية. في المستقبل، نود مزيد من التحقيق في مكافحة قابلية التحكم في معدل التحدث أو حالة المشاعر المتصورة للكلمة التي تم إنشاؤها.
تعد مهمة الطلاقة اللفظية الدلالية (SVF) أداة للفحص الفعال والغازي في الكلام من أجل ضعف المعرفي المعتدل (MCI). في SVF، يتعين على الشاشات إنتاج أكبر عدد ممكن من الكلمات للحصول على فئة دلالية معينة قدر الإمكان في غضون 60 ثانية. من بين النهج الحديثة للتق
ييم التلقائي ل SVF توظف Word Adgeddings لتحليل أوجه التشابه الدلالي في تسلسل الكلمات هذه. في حين أثبتت هذه الأساليب الواعدة في مجموعة متنوعة من لغات الاختبار، فإن كمية البيانات الصغيرة المتاحة لأي لغة معينة تحد من الأداء. في هذه الورقة، نحن في المرة الأولى التي تحقق فيها مناهج التعلم متعددة اللغات لتصنيف MCI من SVF من أجل مكافحة ندرة البيانات. للسماح للتعميم عبر اللغات، تعتمد هذه الأساليب إما على الترجمة إلى لغة مشتركة، أو الاستفادة من العديد من تضمين كلمة مميزة. في التقييمات في جثة متعددة اللغات من المشاركين الفرنسيين الأكبر سنا والمشاركين الهولنديين والألمانيين (الضوابط = 66، MCI = 66)، نظين أن نهجنا متعددة اللغات تتحسن بوضوح على خطوط خطوط خطوط خطوط وطنية واحدة.
توضح هذه الورقة التقديم إلى المهمة المشتركة لخطوط خطاب IWSLT 2021 من قبل فريق IMS.نستخدم النماذج الحديثة من النماذج المشتركة مع العديد من أساليب تكبير البيانات ومتعدد المهام والنقل مناهج للتعرف على الكلام التلقائي (ASR) وخطوات الترجمة الآلية (MT) لنظ
امنا المتتالي.علاوة على ذلك، فإننا نستكشف أيضا جدوى نموذج ترجمة خط الكلام (ST) بالكامل في حالة كمية مقيدة للغاية من الحقيقة الأرضية المصنفة.يحقق أفضل نظامنا أفضل أداء بين جميع الأنظمة المقدمة للسواحيلية للإنجليزية والفرنسية مع درجات بلو 7.7 و 13.7 على التوالي، وثاني أفضل نتيجة للسواحيلية السواحلية إلى الإنجليزية مع النتيجة بلو 14.9.
