تقدم هذه الورقة طريقة تلقائية لتقييم طبيعية توليد اللغة الطبيعية في أنظمة الحوار.في حين تم تقديم هذه المهمة من خلال العمل البشري باهظ الثمن وتستغرق وقتا طويلا، فإننا نقدم هذه المهمة الرواية التابعة لتقييم الطاقة التلقائي للغة الناتجة.من خلال ضبط نموذج Bert، تظهر طريقة تقييم الطبيعية المقترحة لدينا نتائج قوية وتتفوق على الأساس: آلات Vector Support، LSTMS ثنائي الاتجاه، ونفرت.بالإضافة إلى ذلك، يتم تحسين أداء سرعة التدريب وتقييم نموذج طبيعي من خلال نقل التعلم من المعرفة اللغوية بالجودة والمعلوماتية.
This paper presents an automatic method to evaluate the naturalness of natural language generation in dialogue systems. While this task was previously rendered through expensive and time-consuming human labor, we present this novel task of automatic naturalness evaluation of generated language. By fine-tuning the BERT model, our proposed naturalness evaluation method shows robust results and outperforms the baselines: support vector machines, bi-directional LSTMs, and BLEURT. In addition, the training speed and evaluation performance of naturalness model are improved by transfer learning from quality and informativeness linguistic knowledge.
المراجع المستخدمة
https://aclanthology.org/
تركز توليد اللغة الطبيعية (NLG) لأنظمة الحوار الموجهة نحو المهام على توصيل محتوى معين بدقة، بطلاقة، وتطافق. في حين أن هذه السمات أمر حاسم للحوار الناجح، فمن المستحسن أيضا تحقيق أهداف أسلوبية محددة في وقت واحد، مثل طول الاستجابة، وجهة النظر، وصفي، وال
في السنوات الأخيرة، اكتسب التعهيد الجماعي الكثير من الاهتمام من الباحثين لإنشاء بيانات لأدوات جيل اللغة الطبيعية (NLG) أو تقييمها. ومع ذلك، تم استجواب جودة بيانات الجماعة الجماعية مرارا وتكرارا بسبب تعقيد مهارات NLG ومهارات العمال في الحشد. علاوة على
يمكن أن تساعد خوارزمية تجميع موثوقة للحوارات الموجهة نحو المهام في تحليل المطور وتحديد مهام الحوار بكفاءة.من الصعب مباشرة تطبيق خوارزميات تجميع النص العادي المسبق للحوارات الموجهة نحو المهام، بسبب الاختلافات الكامنة بينهما، مثل COMERELER، إغفال وتعبي
فهم اللغة المنطوقة، عادة بما في ذلك اكتشاف النوايا وملء الفتحات، هو مكون أساسي لبناء نظام حوار منطوق. تظهر الأبحاث الحديثة نتائج واعدة من خلال التعلم المشترك بين هذين المهامتين بناء على حقيقة أن ملء الفتحة والكشف عن النوايا تشارك المعرفة الدلالية. عل
يسمح التعلم المستمر في أنظمة الحوار الموجهة نحو المهام للنظام بإضافة مجالات ووظائف جديدة للعمل الإضافي بعد النشر، دون تكبد التكلفة العالية لإعادة النظر في النظام بأكمله في كل مرة. في هذه الورقة، نقترح أول معيار تعلم مستمر على الإطلاق لأنظمة الحوار ال