ترغب بنشر مسار تعليمي؟ اضغط هنا

تكبير البيانات للحصول على ترجمة لغة الإشارة

Data Augmentation for Sign Language Gloss Translation

302   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

غالبا ما يتحلل ترجمة لغة الإشارة (SLT) في التعرف على الفيديو إلى اللمعان والترجمة النصية إلى النص، حيث يكون اللمعان سلسلة من الكلمات اللغوية الموضحة باللغة المنطوقة بالترتيب الذي يتم فيه توقيعه.نحن نركز هنا على الترجمة اللامع إلى النص، والتي نعلمها كمشكلة ترجمة آلية منخفضة الموارد (NMT).ومع ذلك، على عكس المورد المنخفض التقليدي NMT، تختلف الترجمة من اللمعان إلى النص لأن أزواج النص اللامع في كثير من الأحيان تحتوي على تداخل معجمي أعلى وانخفاض التداخل النحوي أقل من أزواج اللغات المنطوقة.نستفصل هذا التداخل المعجمي والتعامل مع الاختلاف النحوي عن طريق اقتراح اثنين من الاستدلال المستندة إلى القواعد التي تولد أزواج نصية متوازية من النصوص الزائفة من نص اللغة المنطوقة غير المنطوقة.من خلال التدريب المسبق على هذه البيانات الاصطناعية، نحسن الترجمة من لغة الإشارة الأمريكية (ASL) إلى لغة الإشارة الإنجليزية والألمانية إلى الألمانية بنسبة تصل إلى 3.14 و 2.20 بلو، على التوالي.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

تعلق نظام ترجمة لغة الإشارة المتتالية في خرائط أول خريطة توقيع مقاطع فيديو لمعالجة التوضيحية ثم تترجم لمعان اللغات في لغات منطوقة.يركز هذا العمل على مكون الترجمة اللامع في المرحلة الثانية، وهو أمر صعب بسبب ندرة البيانات الموازية المتاحة للجمهور.نحن ن قترب الترجمة اللمعان كمهامة ترجمة آلية منخفضة الموارد والتحقيق في طريقتين شعبيتين لتحسين جودة الترجمة: فرط HyperParameter و Backtranslation.نناقش الإمكانات والمخاطر من هذه الأساليب بناء على تجارب في مجموعة بيانات RWTH-Phoenix-Weather 2014T.
التواصل بين أخصائيي الرعاية الصحية والمرضى الصم يتحدىون، والوباء الحالي Covid-19 يجعل هذه المشكلة أكثر حادة.غالبا ما لا تدخل مفسر لغة الإشارة في كثير من الأحيان المستشفيات وأقنائك الوجهلمعالجة هذه المشكلة العاجلة، قمنا بتطوير نظام يسمح بمهنيي الرعاية الصحية بترجمة الجمل التي يتم استخدامها بشكل متكرر في تشخيص وعلاج CovID-19 في لغة هولندا (NGT).يتم عرض الترجمات عن طريق مقاطع الفيديو والرسوم المتحركة الرمزية.بنية النظام هي بحيث يمكن تمديدها إلى تطبيقات أخرى ولغات تسجيل أخرى بطريقة واضحة نسبيا.
تقدم هذه الورقة نظرة عامة على AVASAG؛مشروع أبحاث تطبيقي مستمر يقوم بتطوير نظام ترجمة من النص إلى تسجيل الدخول للخدمات العامة.نحن نصف نقاط الابتكار العلمي (الوصف SL على أساس الهندسة، الرسوم المتحركة ثلاثية الأبعاد والفيديو، نظام التوضيح المبسطة، استراتيجية التقاط الحركة) وخط أنابيب الترجمة الشاملة.
إلى جانب توفر مجموعات بيانات واسعة النطاق، مكنت هياكل التعلم العميق التقدم السريع في مهمة الإجابة على السؤال.ومع ذلك، فإن معظم مجموعات البيانات هذه باللغة الإنجليزية، وأدائيات النماذج متعددة اللغات الحديثة أقل بكثير عند تقييمها على البيانات غير الإنج ليزية.نظرا لتكاليف جمع البيانات العالية، فهي ليست واقعية للحصول على بيانات مشروحة لكل لغة رغبة واحدة لدعمها.نقترح طريقة لتحسين السؤال المتبادل الإجابة على الأداء دون الحاجة إلى بيانات مشروح إضافية، واستفادة نماذج توليد السؤال لإنتاج عينات اصطناعية في أزياء متصلة.نظهر أن الطريقة المقترحة تتيح التوفيق بشكل كبير على خطوط الأساس المدربين على بيانات اللغة الإنجليزية فقط.نبلغ عن أحدث طرف جديد في أربع مجموعات بيانات: MLQA و Xquad و Squad-It و PIAF (FR).
في هذه الورقة، نستكشف مقاربة عصبية بسيطة للغاية لتعيين تقويم الإملاءات إلى النسخ الصوتي في سياق منخفض الموارد.الفكرة الأساسية هي البدء من نظام أساسي وتركيز جميع الجهود بشأن تكبير البيانات.سوف نرى أن بعض التقنيات تعمل، ولكن البعض الآخر لا.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا