فهرسة Entropy Fabula: تدابير موضوعية لتماسك القصة

لا يزال توليد القصة الآلي مجالا صعبا للبحث لأنه يفتقر إلى تدابير موضوعية قوية.قد تكون القصص التي تم إنشاؤها صوتا ساحقا، ولكن في كثير من الحالات تعاني من الاتساق السرد السيئ المطلوب لقصة مقنعة وسمعة منطقية.لمعالجة هذا، نقدم فهرسة Fabula Entropy (FEI)، وهي طريقة تقييم لتقييم تماسك القصة من خلال قياس الدرجة التي يتفق عليها المشاركون البشري مع بعضهم البعض عند الإجابة على أسئلة حقيقية / خاطئة حول القصص.ونحن نرتبط بتوبيخ اثنين من التدابير المدرجة النظري من الناحية النظرية للانتروبان الرد على الأسئلة، وإنتروبا من الاتساق العالمي (EWC)، وتركز الانتروبيا من الاتساق الانتقالي (إلخ)، مع التركيز على الاتساق العالمي والمحلي على التوالي.نقيم هذه المقاييس عن طريق اختبارها على قصص مكتوبة بشرية ومقارنة ضد نفس القصص التي كانت تالفة لإدخال الاتجاهات.نظهر أنه في هذه الدراسات التي تسيطر عليها، توفر مؤشرات انتروبيا لدينا مقياسا موضوعيا موثوقا لتماسك القصة.

Automated story generation remains a difficult area of research because it lacks strong objective measures. Generated stories may be linguistically sound, but in many cases suffer poor narrative coherence required for a compelling, logically-sound story. To address this, we present Fabula Entropy Indexing (FEI), an evaluation method to assess story coherence by measuring the degree to which human participants agree with each other when answering true/false questions about stories. We devise two theoretically grounded measures of reader question-answering entropy, the entropy of world coherence (EWC), and the entropy of transitional coherence (ETC), focusing on global and local coherence, respectively. We evaluate these metrics by testing them on human-written stories and comparing against the same stories that have been corrupted to introduce incoherencies. We show that in these controlled studies, our entropy indices provide a reliable objective measure of story coherence.