اختر المغامرة الخاصة بك: اقتراحات مقدمة في الكتابة التعاونية لتقييم نماذج جيل القصة

توليد القصة هي مهمة مفتوحة وعشرية، مما يشكل تحديا لتقييم نماذج جيل القصة.نقدم اختبار المغامرة الخاصة بك، إعداد الكتابة التعاوني لتقييم نموذج الزوجي.تولد طرازان اقتراحات للناس لأنهم يكتبون قصة قصيرة؛نطلب من الكتاب اختيار أحد الاقتراحين، ونحن نلاحظ اقتراحات النموذج التي يفضلونها.كما يتيح الإعداد أيضا إجراء مزيد من التحليل بناء على المراجعات التي يقوم بها الناس إلى الاقتراحات.نظظ أن هذه التدابير، إلى جانب المقاييس التلقائية، توفر صورة إعلامية لأداء النماذج، سواء في الحالات التي تكون فيها الاختلافات في طرق التوليد صغيرة (عينة من أعلى النواة مقابل Top-K) وكبير (نماذج Fusion Fusion)وبعد

Story generation is an open-ended and subjective task, which poses a challenge for evaluating story generation models. We present Choose Your Own Adventure, a collaborative writing setup for pairwise model evaluation. Two models generate suggestions to people as they write a short story; we ask writers to choose one of the two suggestions, and we observe which model's suggestions they prefer. The setup also allows further analysis based on the revisions people make to the suggestions. We show that these measures, combined with automatic metrics, provide an informative picture of the models' performance, both in cases where the differences in generation methods are small (nucleus vs. top-k sampling) and large (GPT2 vs. Fusion models).