نقوم بإجراء تقييم بشري في الأوراق التي تقدم العمل على توليد اللغة الطبيعية الإبداعية التي تم نشرها في INLG 2020 و ICCC 2020. أكثر طريقة التقييم البشرية النموذجية هي مسح كبير الحجم، وعادة ما تكون على نطاق 5 نقاط، في حين وجود العديد من الأساليب الأقل ش
يوعا أخرى.المعلمات الأكثر شيوعا هي معنى، صحة النحوية، الجدة والأهمية والقيمة العاطفية، من بين العديد من الآخرين.تشمل المبادئ التوجيهية الخاصة بنا للتقييم المستقبلي بوضوح هدف النظام التوليدي، وطرح أسئلة كملموسة قدر الإمكان، واختبار إعداد التقييم، باستخدام إعدادات تقييم متعددة متعددة، وإبلاغ عملية التقييم بأكملها والتحيزات المحتملة بوضوح، وأخيرا تحليل نتائج التقييم في النهايةبطريقة أكثر عمقا من إبلاغ الإحصاءات الأكثر نموذجية.
نحن نقدم جوهرة، معيار معيشة لتوليد اللغة الطبيعية (NLG)، تقييمه، ومقاييسه.تعتمد التقدم المحرز في NLG على نظام بيئي متطور باستمرار للمقاييس الآلية ومجموعات البيانات ومعايير التقييم البشري.نظرا لهذا الهدف المتحرك، لا تزال هناك نماذج جديدة غالبا ما لا ت
زال تقيمت في ولاية شركات الأنجلو المتداخلة مع مقاييس راسخة ولكنها معيبة ومقاييس.هذا الفصل يجعل من الصعب تحديد قيود النماذج والفرص الحالية للتقدم.تعالج GEM في معالجة هذه القيد هذه بيئة يمكن فيها تطبيق النماذج التي يمكن فيها تطبيقها بسهولة على مجموعة واسعة من المهام والتي يمكن اختبار استراتيجيات التقييم فيها.سيؤدي تحديثات منتظمة إلى المعيار إلى مساعدة أبحاث NLG على تصبح أكثر تعددا متعددة اللغات وتتطور التحدي إلى جانب النماذج.تعمل هذه الورقة كوصف للبيانات المهمة المشتركة 2021 في ورشة عمل GEM المرتبطة.
تنمية إرشادات الوثائق والقوالب سهلة الاستخدام لمجموعات البيانات والنماذج مهمة صعبة، خاصة بالنظر إلى مجموعة متنوعة من الخلفيات والمهارات وحوافز الأشخاص المشاركين في بناء أدوات معالجة اللغة الطبيعية (NLP). ومع ذلك، فإن اعتماد ممارسات الوثائق القياسية ف
ي مجال NLP يعزز أوصاف أكثر سهولة ومفصلة عن مجموعات البيانات والنماذج NLP، مع دعم الباحثين والمطورين في التفكير في عملهم. للمساعدة في توحيد الوثائق، نقدم دراستين بحالتين للجهود التي تهدف إلى تطوير قوالب الوثائق القابلة لإعادة الاستخدام - بطاقة بيانات المعانقة، بطاقة للأغراض العامة لمجموعات البيانات في NLP، والبيانات القياسية Gem البطاقات النموذجية مع التركيز توليد اللغة الطبيعية. نحن نصف عمليتنا لتطوير هذه القوالب، بما في ذلك تحديد مجموعات أصحاب المصلحة المعنيين، وتعريف مجموعة من المبادئ التوجيهية، واستخدام القوالب الحالية كأساس لدينا، ومراجعات تكرارية تستند إلى ردود الفعل.
