في التقييم التلقائي لأنظمة الإجابة على السؤال التلقائي (GENQA)، من الصعب تقييم صحة الإجابات التي تم إنشاؤها بسبب الشكل الحر للإجابة.على نطاق واسع، غالبا ما تفشل مقاييس تشابه N-Gram على نطاق واسع في التمييز بين الإجابات غير الصحيحة لأنها تنظر بنفس الق
در في كل الرموز.لتخفيف هذه المشكلة، نقترح KPQA متري، مقياس جديد لتقييم صحة GenQA.على وجه التحديد، تقوم Metric الجديدة بتعيين الأوزان المختلفة لكل رمزية عبر التنبؤ بجودة الهدنة المفتوحة، وبالتالي الحكم على ما إذا كانت جملة إجابة تم إنشاؤها تلتقط المعنى الرئيسي للإجابة المرجعية.لتقييم Metric، نقوم بإنشاء أحكام بشرية عالية الجودة من صحة مجموعة بيانات Genqa.باستخدام مجموعات بيانات التقييم البشرية لدينا، نوضح أن القياس الخاص بنا المقترح لديه ارتباط أعلى بكثير مع الأحكام الإنسانية مقارنة بالمقاييس الموجودة في مجموعات البيانات المختلفة.سيكون رمز KPQA-Metric متاحا في https://github.com/hwanheelee1993/kpqa.
تهدف نقل نمط النص إلى توليد نص محكم مع التغييرات الأسلوبية المستهدفة مع الحفاظ على المعنى الأساسي من ثابت الجملة. تركز العديد من معايير نقل النمط الموجودة في المقام الأول على التغييرات الدلالية الفردية الفردية (E.G. إيجابية إلى سلبية)، والتي تمكن من
إمكانية التحكم في مستوى عال ولكنها لا تقدم تحكما بخير ينطوي على هيكل جملة، والتركيز ومضمون الجملة. في هذه الورقة، نقدم معيارا واسع النطاق، StyleptB، مع (1) جمل مقترنة تخضع 21 تغييرات أسلوبية حبيبة على غرامة تمتد عبر التحويلات المعجمية البسيطة والمعدة والدلية والمواورة، وكذلك (2) تركيبات متعددة التحويلات التي تسمح نمذجة التغييرات الأسلالية المحتلة الجميلة كقوانيات لتحويل أكثر تعقيدا رفيعة المستوى. بقياس الأساليب الحالية على StyleptB، نجد أنهم يكافحون من أجل تغييرات التغييرات الدقيقة والحصول على وقت أكثر صعوبة في تكوين أنماط متعددة. ونتيجة لذلك، فإن StyleptB يجلب تحديات جديدة نأمل أن يشجع البحث في المستقبل في نقل أسلوب نصي يمكن السيطرة عليها ونماذج تركيبية وتعلم تمثيلات DESENTANGLED. سيقدم حل هذه التحديات خطوات مهمة نحو جيل نص قابل للتحكم.
