ترغب بنشر مسار تعليمي؟ اضغط هنا

النموذج الموجه المخطط لحوار الصفر بالرصاص

Schema-Guided Paradigm for Zero-Shot Dialog

288   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

يعد تطوير آليات تكييف أنظمة الحوار المرنة للمهام والمجالات غير المرئية تحديا كبيرا في أبحاث الحوار.تحفظ النماذج العصبية ضمنيا سياسات الحوار الخاصة بمهام المهام من بيانات التدريب.نؤخر أن هذه الحفظ الضمنية قد حظرت التعلم تحويل الصفر بالرصاص.تحقيقا لهذه الغاية، نستفيد من النموذج الموجه المخطط، حيث يتم توفير سياسة الحوار الخاصة بمهام المهام بشكل صريح للنموذج.نقدم نموذج اهتمام المخطط (SAM) وتحسين تمثيلات المخطط للحصول على ستار كوربوس.يحصل SAM على تحسين كبير في إعدادات طلقة صفرية، مع تحسن درجة +22 F1 على العمل السابق.هذه النتائج التحقق من صحة جدوى عملية التعميم الصفري في مربع الحوار.يتم أيضا تقديم تجارب الاجتثاث لإظهار فعالية SAM.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

تركز توليد اللغة الطبيعية (NLG) لأنظمة الحوار الموجهة نحو المهام على توصيل محتوى معين بدقة، بطلاقة، وتطافق. في حين أن هذه السمات أمر حاسم للحوار الناجح، فمن المستحسن أيضا تحقيق أهداف أسلوبية محددة في وقت واحد، مثل طول الاستجابة، وجهة النظر، وصفي، وال شعور، والشكل، والشكل، والتعاطف. في هذا العمل، نركز على التحكم الأسلطي والتقييم ل NLG الموجهة للمخطط، مع أهداف مشتركة لتحقيق السيطرة الدلالية واللحلية. نقوم بتجربة تفصيلية مع مختلف طرق الجيل التي تسيطر عليها نماذج اللغة المحددة مسبقا: على وجه التحديد، والتدريب الشرطي، والضبط الجميل الموجه، والكشف الموجهة. نناقش مزاياها والقيود الخاصة بهم، وتقييمها بمجموعة واسعة من مقاييس التقييم التلقائي والبشري. تظهر نتائجنا أنه في حين أن الدقة عالية النمط والصحة الدلالية أسهل في تحقيق المزيد من الأساليب المعرفة من المعالم مع التدريب الشرطي، فإن التحكم الأسطوري يمكن تحقيقه أيضا على أنماط معقدة أكثر دلالة تستخدم أساليب فك التشفير الموجودة على أساس التمييز. تشير النتائج أيضا إلى أن الطرق التي تعتبر أكثر قابلية للتطوير (مع ضبط المعلمات أقل فرط) وأن توليد سياق Disent Nastange والاختلافات الأسلوبية أكثر فعالية في تحقيق صحة دلالية ودقة أسلوب.
تم إثبات المشفرات المستندة إلى المحولات المسبدة مسبقا مثل بيرت لتحقيق الأداء الحديث في العديد من مهام NLP العديدة. على الرغم من نجاحهم، فإن ترميز نمط بيرت كبير الحجم ولديها زمن بيانات عالية أثناء الاستدلال (خاصة في آلات وحدة المعالجة المركزية) مما يج علها غير جذابة للعديد من التطبيقات عبر الإنترنت. قدمت أساليب الضغط والتقطير مؤخرا طرقا فعالة لتخفيف هذا القصور. ومع ذلك، فإن محور هذه الأعمال كان أساسا في ترميز أحادي الأونلينغ. بدافع من النجاحات الأخيرة في التعلم عبر التحويل المتبادل في صفر تسديدة باستخدام ترميز مسببات اللغات المسبق، مثل MBERT، فإننا نقيم فعالية تقطير المعرفة (دينار كويتي) خلال مرحلة الاحتجاج وأثناء مرحلة ضبط الدقيقة على نماذج بيرت متعددة اللغات. نوضح أنه في تناقض الملاحظة السابقة في حالة التقطير أحادي الأونلينغ، في الإعدادات المتعددة اللغات، يكون التقطير أثناء الاحتجاز أكثر فعالية من التقطير أثناء ضبط الصفر عن التعلم تحويل الصفر. علاوة على ذلك، فإننا نلاحظ أن التقطير أثناء ضبط الرصيف قد يضر أداء الصفر اللغوي الصفر. أخيرا، نوضح أن تقطير نموذج أكبر (بيرت كبير) ينتج عن أقوى النموذج المقطر الذي يؤدي أفضل سواء على لغة المصدر وكذلك اللغات المستهدفة في إعدادات الطلقة الصفرية.
يمكن للبشر التمييز بين فئات جديدة بكفاءة للغاية مع عدد قليل من الأمثلة، إلى حد كبير بسبب حقيقة أن البشر يمكنهم الاستفادة من المعرفة التي تم الحصول عليها من المهام ذات الصلة.ومع ذلك، يميل نموذج تصنيف النص في التعلم العميق إلى الكفاح لتحقيق أداء مرض عن دما تكون البيانات المسمى نادرة.مستوحاة من الذكاء البشري، نقترح تقديم المعرفة الخارجية إلى سلطة قليلة التعلم لتقليد المعرفة الإنسانية.يتم التحقيق في شبكة مولدات المعلمة الرواية بهذا الغاية، والتي تتمكن من استخدام المعرفة الخارجية لتوليد مقاييس مختلفة لمهام مختلفة.المسلحة مع هذه الشبكة، يمكن لمهام مماثلة استخدام مقاييس مماثلة في حين تستخدم المهام المختلفة مقاييس مختلفة.من خلال التجارب، نوضح أن أسلوبنا تتفوق على نماذج تصنيف النص القليلة لقلة سوتا.
تمكننا تتبع حالة الحوار عبر المجال الصفرية (DST) من التعامل مع المجالات غير المرئية دون حساب جمع البيانات داخل المجال.في هذه الورقة، نقترح وصفات فتحة معززة النهج الإداري المعزز ل DST الصفرية عبر DST.على وجه التحديد، يقوم نموذجنا أولا بتشميز سياق الحو ار وفتحة مع ترميز من يقارب الذات المدرب مسبقا، ويولد قيمة فتحة بطريقة تراجع تلقائي.بالإضافة إلى ذلك، ندمج نوع الفتحات الوصف المستنيرة التي تلتقط المعلومات المشتركة من فتحات مختلفة لتسهيل نقل المعرفة عبر المجال.توضح النتائج التجريبية على MultiWoz أن طرازنا يحسن بشكل كبير من نتائج أحدث النتائج الموجودة في إعداد المجال المتقاطع Zero-Shot.
إلى جانب توفر مجموعات بيانات واسعة النطاق، مكنت هياكل التعلم العميق التقدم السريع في مهمة الإجابة على السؤال.ومع ذلك، فإن معظم مجموعات البيانات هذه باللغة الإنجليزية، وأدائيات النماذج متعددة اللغات الحديثة أقل بكثير عند تقييمها على البيانات غير الإنج ليزية.نظرا لتكاليف جمع البيانات العالية، فهي ليست واقعية للحصول على بيانات مشروحة لكل لغة رغبة واحدة لدعمها.نقترح طريقة لتحسين السؤال المتبادل الإجابة على الأداء دون الحاجة إلى بيانات مشروح إضافية، واستفادة نماذج توليد السؤال لإنتاج عينات اصطناعية في أزياء متصلة.نظهر أن الطريقة المقترحة تتيح التوفيق بشكل كبير على خطوط الأساس المدربين على بيانات اللغة الإنجليزية فقط.نبلغ عن أحدث طرف جديد في أربع مجموعات بيانات: MLQA و Xquad و Squad-It و PIAF (FR).

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا