ترغب بنشر مسار تعليمي؟ اضغط هنا

إعادة صياغة النصاء متعددة اللغات من أجل bootstrapping ميزات جديدة في أنظمة الحوار الموجهة نحو المهام

Multilingual Paraphrase Generation For Bootstrapping New Features in Task-Oriented Dialog Systems

341   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

يعد عدم وجود بيانات تدريبية المسمى للميزات الجديدة مشكلة شائعة في أنظمة الحوار في العالم الحقيقي المتغيرة بسرعة.كحل، نقترح نموذج توليد إعادة صياغة متعددة اللغات يمكن استخدامه لإنشاء كلمات جديدة للميزة المستهدفة واللغة المستهدفة.يمكن استخدام الكلام الذي تم إنشاؤه لزيادة بيانات التدريب الحالية لتحسين تصنيف نماذج وضع العلامات الفضائية.نحن نقيم جودة الكلام التي تم إنشاؤها باستخدام مقاييس التقييم الجوهرية وإجراء تجارب التقييم المصب مع اللغة الإنجليزية كلغة مصدر وتسع لغات مستهدفة مختلفة.تعرض طريقنا وعد عبر اللغات، حتى في إعداد طلقة صفرية حيث لا توجد بيانات بذرة متاحة.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

نظرا لأن تكلفة وضع العلامات للوحدات المختلفة في أنظمة الحوار الموجهة نحو المهام (TOD) باهظ الثمن، فإن التحدي الرئيسي هو تدريب وحدات مختلفة بأقل قدر من البيانات المسمى. أظهرت نماذج اللغة المدربة مسبقا مؤخرا، نتائج واعدة واعدة لعدد قليل من التعلم في TO D. في هذه الورقة، نرتند نهجا للتدريب الذاتي للاستفادة من بيانات الحوار غير المسبق الوفيرة لزيادة تحسين النماذج المدربة للدولة المدربة مسبقا في سيناريوهات تعليمية قليلة لأنظمة TOD. على وجه التحديد، نقترح نهجا للتدريب الذاتي أن تستلم البيانات الأكثر ثقة أكثر ثقة لتدريب نموذج طالب أقوى. علاوة على ذلك، يقترح تقنية تكبير نص جديد (GradaG) تدريب الطالب بشكل أفضل عن طريق استبدال الرموز غير الحاسمة باستخدام نموذج لغة ملثم. نقوم بإجراء تجارب مكثفة وتحليلات موجودة على أربع مهام المصب في TOD، بما في ذلك تصنيف النوايا وتتبع ولاية الحوار وتنبؤ قانون الحوار واختيار الاستجابة. توضح النتائج التجريبية أن نهج التدريب الذاتي المقترح باستمرار يحسن باستمرار النماذج المدربة مسبقا من أحدث (بيرت، TOD-BERT-BERT) عند توفر عدد صغير فقط من البيانات المسمى.
اكتسبت النماذج الإدارية لأنظمة الحوار اهتماما كبيرا بسبب النجاح الأخير من RNN والنماذج القائمة على المحولات في مهام مثل الإجابة على الأسئلة والتلخيص. على الرغم من أن مهمة استجابة الحوار ينظر إليها عموما على أنها تسلسل للتسلسل (SEQ2SEQ) المشكلة، فقد و جدت الباحثون في الماضي أنه يمثل تحديا لتدريب أنظمة الحوار باستخدام نماذج SEQ2SEQ القياسية. لذلك، لمساعدة النموذج على تعلم نطق حقيقي وميزات مستوى المحادثة، Sordoni et al. (2015B)، serban et al. (2016) بنية RNN الهرمية المقترحة، التي تم اعتمادها لاحقا من قبل العديد من أنظمة الحوار RNN الأخرى. مع النماذج القائمة على المحولات التي تسيطر على مشاكل SEQ2SeQ مؤخرا، فإن السؤال الطبيعي الذي يجب طرحه هو قابلية مفهوم التسلسل الهرمي في أنظمة الحوار المحول. في هذه الورقة، نقترح إطارا عمليا لترميز المحولات الهرمية وإظهار كيف يمكن تحويل محول قياسي إلى أي ترميز هرمي، بما في ذلك Hred و Hibert مثل النماذج، باستخدام أقنعة اهتمام مصممة خصيصا والترميزات الموضعية. نوضح أن الترميز الهرمي يساعد في تحقيق فهم لغوي أفضل في اللغة الطبيعية للسياق في النماذج القائمة على المحولات لأنظمة الحوار الموجهة نحو المهام من خلال مجموعة واسعة من التجارب.
يتطلب تحسين سياسة الحوار عبر التعلم التعزيز عددا كبيرا من التفاعلات التدريبية، مما يجعل التعلم مع المستخدمين الحقيقيين الوقت المستهلكة ومكلفة. لذلك يعتمد العديد من الإعدادات على محاكاة المستخدم بدلا من البشر. لدى محاكاة المستخدم هذه مشاكلهم الخاصة. ف ي حين أن محاكاة المستخدمين المشفرة باليد، فقد ثبت أن محاكاة المستخدمين الذين يعتمدون على القواعد كافية في المجالات الصغيرة والبسيطة، لأن عدد القواعد المعقدة بسرعة أصلي. لا تزال محاكاة المستخدم التي يحركها بيانات البيانات، من ناحية أخرى، تعتمد على المجال. هذا يعني أن التكيف مع كل مجال جديد يتطلب إعادة تصميم وإعادة التدريب. في هذا العمل، نقترح محاكاة للمستخدم المستقل المستقل للمجال (TUS). لا يتم ربط هيكل TUS مجال معين، وتمكين تعميم المجال وتعلم سلوك المستخدم عبر المجال من البيانات. نحن نقارن TUS مع أحدث التقيمات التلقائية وكذلك الإنسان. يمكن أن يتنافس TUS مع محاكاة المستخدمين المستند إلى القواعد على المجالات المحددة مسبقا ويمكن أن يعممون إلى المجالات غير المرئية في أزياء صفرية.
يسمح التعلم المستمر في أنظمة الحوار الموجهة نحو المهام للنظام بإضافة مجالات ووظائف جديدة للعمل الإضافي بعد النشر، دون تكبد التكلفة العالية لإعادة النظر في النظام بأكمله في كل مرة. في هذه الورقة، نقترح أول معيار تعلم مستمر على الإطلاق لأنظمة الحوار ال موجهة نحو المهام مع أن يتم تعلم 37 نطما بشكل مستمر في إعدادات التعلم المعدلة والنهاية. بالإضافة إلى ذلك، نقوم بتنفيذ ومقارنة خطوط أساسيات التعلم المستمرة المتعددة، ونقترحنا طريقة معمارية بسيطة ولكنها فعالة تعتمد على المحولات المتبقية. نشير أيضا إلى أن الأداء العلوي للتعلم المستمر يجب أن يكون يعادل التعلم المتعدد المهام عند توفر البيانات من جميع المجال في وقت واحد. توضح تجاربنا أن الطريقة المعمارية المقترحة وإجراءات استراتيجية تستند إلى إعادة التشغيل بسيطة تؤدي بشكل أفضل، من خلال هامش كبير، مقارنة بتقنيات التعلم المستمرة الأخرى، وأسوأ قليلا قليلا من العلوي المتعدد التعلم العلوي أثناء كونه 20x بشكل أسرع في تعلم النطاقات الجديدة. نحن نبلغ أيضا العديد من المفاضلات من حيث استخدام المعلمة وحجم الذاكرة ووقت التدريب، وهي مهمة في تصميم نظام حوار موجه نحو المهام. يتم إصدار المعيار المقترح لتعزيز المزيد من البحث في هذا الاتجاه.
تعلم أنظمة الحوار الموجهة نحو المهمة الحديثة نموذجا من الحوارات المشروح، وتحول هذه الحوارات بدورها يتم جمعها وتفاحها بحيث تكون متسقة مع معرفة مجال معينة. ومع ذلك، في السيناريوهات الحقيقية، تخضع معارف المجال للتغييرات المتكررة، وقد تصبح حوارات التدريب الأولي قد تصبح عفا عليها الزمن، مما يؤدي إلى انخفاض كبير في الأداء النموذجي. في هذه الورقة، نحقق في العلاقة بين الحوارات التدريبية ومعرفة المجال، واقتراح تكيف مجال الحوار، وهي منهجية تهدف إلى تكييف حوارات التدريب الأولي للتغييرات تدخلت في معرفة المجال. نحن نركز على تغييرات قيمة الفتحة (على سبيل المثال، عندما تتوفر قيم فتحة جديدة لوصف كيانات المجال) وتحديد إعداد تجريبي لتتكيف مع نطاق الحوار. أولا، نوضح أن النماذج الحالية للحالة لتتبع حالة الحوار لا تزال قوية تقريبا للتغيرات ذات قيمة الفتحة لمعرفة المجال. بعد ذلك، نقارن استراتيجيات مختلفة التكيف عن نطاق التكيف، مما يدل على أن التقنيات البسيطة فعالة لتقليل الفجوة بين حوارات التدريب ومعرفة المجال.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا