ترغب بنشر مسار تعليمي؟ اضغط هنا

تقييم طبيعي لتوليد اللغة الطبيعية في الحوارات الموجهة نحو المهام باستخدام بيرت

Naturalness Evaluation of Natural Language Generation in Task-oriented Dialogues Using BERT

246   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

تقدم هذه الورقة طريقة تلقائية لتقييم طبيعية توليد اللغة الطبيعية في أنظمة الحوار.في حين تم تقديم هذه المهمة من خلال العمل البشري باهظ الثمن وتستغرق وقتا طويلا، فإننا نقدم هذه المهمة الرواية التابعة لتقييم الطاقة التلقائي للغة الناتجة.من خلال ضبط نموذج Bert، تظهر طريقة تقييم الطبيعية المقترحة لدينا نتائج قوية وتتفوق على الأساس: آلات Vector Support، LSTMS ثنائي الاتجاه، ونفرت.بالإضافة إلى ذلك، يتم تحسين أداء سرعة التدريب وتقييم نموذج طبيعي من خلال نقل التعلم من المعرفة اللغوية بالجودة والمعلوماتية.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

تركز توليد اللغة الطبيعية (NLG) لأنظمة الحوار الموجهة نحو المهام على توصيل محتوى معين بدقة، بطلاقة، وتطافق. في حين أن هذه السمات أمر حاسم للحوار الناجح، فمن المستحسن أيضا تحقيق أهداف أسلوبية محددة في وقت واحد، مثل طول الاستجابة، وجهة النظر، وصفي، وال شعور، والشكل، والشكل، والتعاطف. في هذا العمل، نركز على التحكم الأسلطي والتقييم ل NLG الموجهة للمخطط، مع أهداف مشتركة لتحقيق السيطرة الدلالية واللحلية. نقوم بتجربة تفصيلية مع مختلف طرق الجيل التي تسيطر عليها نماذج اللغة المحددة مسبقا: على وجه التحديد، والتدريب الشرطي، والضبط الجميل الموجه، والكشف الموجهة. نناقش مزاياها والقيود الخاصة بهم، وتقييمها بمجموعة واسعة من مقاييس التقييم التلقائي والبشري. تظهر نتائجنا أنه في حين أن الدقة عالية النمط والصحة الدلالية أسهل في تحقيق المزيد من الأساليب المعرفة من المعالم مع التدريب الشرطي، فإن التحكم الأسطوري يمكن تحقيقه أيضا على أنماط معقدة أكثر دلالة تستخدم أساليب فك التشفير الموجودة على أساس التمييز. تشير النتائج أيضا إلى أن الطرق التي تعتبر أكثر قابلية للتطوير (مع ضبط المعلمات أقل فرط) وأن توليد سياق Disent Nastange والاختلافات الأسلوبية أكثر فعالية في تحقيق صحة دلالية ودقة أسلوب.
في السنوات الأخيرة، اكتسب التعهيد الجماعي الكثير من الاهتمام من الباحثين لإنشاء بيانات لأدوات جيل اللغة الطبيعية (NLG) أو تقييمها. ومع ذلك، تم استجواب جودة بيانات الجماعة الجماعية مرارا وتكرارا بسبب تعقيد مهارات NLG ومهارات العمال في الحشد. علاوة على ذلك، يمكن أن يكون التعهيد الجماعي أيضا مكلفا وغالبا ما لا يكون ممكنا لتوليد البيانات أو التقييم على نطاق واسع. للتغلب على هذه التحديات والاستفادة من نقاط القوة التكميلية للبشر والأدوات الآلية، نقترح سير عمل هجين - آلة الإنسان المصممة بشكل صريح لمهام NLG مع آليات مراقبة الجودة في الوقت الفعلي تحت قيود الميزانية. هذه المنهجية الهجينة هي أداة قوية لتحقيق بيانات عالية الجودة مع الحفاظ على الكفاءة. من خلال الجمع بين الذكاء البشري والآلات، تقرر سير العمل المقترح ديناميكيا في الخطوة التالية بناء على البيانات من الخطوات السابقة والمعطلات. هدفنا هو تقديم ليس فقط الأسس النظرية لسير العمل الهجين ولكن أيضا لتوفير تنفيذها كمصدر مفتوح في العمل في المستقبل.
يمكن أن تساعد خوارزمية تجميع موثوقة للحوارات الموجهة نحو المهام في تحليل المطور وتحديد مهام الحوار بكفاءة.من الصعب مباشرة تطبيق خوارزميات تجميع النص العادي المسبق للحوارات الموجهة نحو المهام، بسبب الاختلافات الكامنة بينهما، مثل COMERELER، إغفال وتعبي ر التنوع.في هذه الورقة، نقترح نموذج شبكة حوار تجميع مهمة التجميع للتجميع الموجه في المهام.يجمع النموذج المقترح بين تمثيلات الكلام على دراية السياق والتحويل عبر الحوار عن تجميع الحوارات الموجهة نحو المهام.تستخدم استراتيجية تدريبية تكرارية نهاية لإنهاء تجميع الحوار وتعلم التمثيل بشكل مشترك.تظهر التجارب في ثلاث مجموعات بيانات عامة أن نموذجنا يتفوق بشكل كبير على خطوط أساسية قوية في جميع المقاييس.
فهم اللغة المنطوقة، عادة بما في ذلك اكتشاف النوايا وملء الفتحات، هو مكون أساسي لبناء نظام حوار منطوق. تظهر الأبحاث الحديثة نتائج واعدة من خلال التعلم المشترك بين هذين المهامتين بناء على حقيقة أن ملء الفتحة والكشف عن النوايا تشارك المعرفة الدلالية. عل اوة على ذلك، فإن آلية الاهتمام تعزز التعلم المشترك لتحقيق نتائج أحدث من الفن. ومع ذلك، فإن نماذج التعلم المشتركة الحالية تتجاهل الحقائق المهمة التالية: 1. لا يتم تتبع سياق فتحة طويلة الأجل بشكل فعال، وهو أمر حاسم لملء الفتحات المستقبلية. 2. يمكن أن تكون الفتحة وعلامات الكشف عن النية مجزية بشكل متبادل، ولكن التفاعل ثنائي الاتجاه بين ملء الفتحات والكشف عن النوايا لا يزال نادرا ما تم استكشافه. في هذه الورقة، نقترح نهجا جديدا لنموذج سياق فتحة طويلة الأجل واستخدام العلاقة الدلالية بالكامل بين الفتحات والمحالة. نعتمد شبكة الذاكرة ذات القيمة الرئيسية لنموذج سياق الفتحة ديناميكيا وتتبع علامات فتحة أكثر أهمية فك شفرة من قبل، والتي يتم تغذيتها بعد ذلك في وحدة فك التشفير الخاصة بنا للحصول على علامات الفتحة. علاوة على ذلك، يتم استخدام معلومات الذاكرة الدائرية لأداء الكشف عن النية، وتحسين المهام المتبادلة من خلال التحسين العالمي. تظهر التجارب على معيار ATIS و SHITS DataSets أن نموذجنا يحقق أداء حديثة وتفوق على طرق أخرى، خاصة بالنسبة لمهمة ملء الفتحة.
يسمح التعلم المستمر في أنظمة الحوار الموجهة نحو المهام للنظام بإضافة مجالات ووظائف جديدة للعمل الإضافي بعد النشر، دون تكبد التكلفة العالية لإعادة النظر في النظام بأكمله في كل مرة. في هذه الورقة، نقترح أول معيار تعلم مستمر على الإطلاق لأنظمة الحوار ال موجهة نحو المهام مع أن يتم تعلم 37 نطما بشكل مستمر في إعدادات التعلم المعدلة والنهاية. بالإضافة إلى ذلك، نقوم بتنفيذ ومقارنة خطوط أساسيات التعلم المستمرة المتعددة، ونقترحنا طريقة معمارية بسيطة ولكنها فعالة تعتمد على المحولات المتبقية. نشير أيضا إلى أن الأداء العلوي للتعلم المستمر يجب أن يكون يعادل التعلم المتعدد المهام عند توفر البيانات من جميع المجال في وقت واحد. توضح تجاربنا أن الطريقة المعمارية المقترحة وإجراءات استراتيجية تستند إلى إعادة التشغيل بسيطة تؤدي بشكل أفضل، من خلال هامش كبير، مقارنة بتقنيات التعلم المستمرة الأخرى، وأسوأ قليلا قليلا من العلوي المتعدد التعلم العلوي أثناء كونه 20x بشكل أسرع في تعلم النطاقات الجديدة. نحن نبلغ أيضا العديد من المفاضلات من حيث استخدام المعلمة وحجم الذاكرة ووقت التدريب، وهي مهمة في تصميم نظام حوار موجه نحو المهام. يتم إصدار المعيار المقترح لتعزيز المزيد من البحث في هذا الاتجاه.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا