موثوقية التقييم البشري لتلخيص النص: الدروس المستفادة والتحديات المقبلة

توفر فقط جزء صغير من الأوراق البحثية مع التقييم البشري لتلخيص النص معلومات حول التركيبة السكانية المشارك وتصميم المهام وبروتوكول التجريب.بالإضافة إلى ذلك، يستخدم العديد من الباحثين التقييم البشري كمعيار ذهبي دون التشكيك في الموثوقية أو التحقيق في العوامل التي قد تؤثر على موثوقية التقييم البشري.نتيجة لذلك، هناك نقص في أفضل الممارسات لتقييم التلخيص البشري الموثوق به على أدلة تجريبية.للتحقيق في موثوقية التقييم البشري، نقوم بإجراء سلسلة من تجارب التقييم البشري، وتقديم نظرة عامة على التركيبة السكانية المشارك، وتصميم المهام، وإعداد التجريبية ومقارنة النتائج من تجارب مختلفة.بناء على تحليلنا التجريبي، نقدم مبادئ توجيهية لضمان موثوقية التقييمات الخبراء وغير الخبراء، ونحن نحدد العوامل التي قد تؤثر على موثوقية التقييم البشري.

Only a small portion of research papers with human evaluation for text summarization provide information about the participant demographics, task design, and experiment protocol. Additionally, many researchers use human evaluation as gold standard without questioning the reliability or investigating the factors that might affect the reliability of the human evaluation. As a result, there is a lack of best practices for reliable human summarization evaluation grounded by empirical evidence. To investigate human evaluation reliability, we conduct a series of human evaluation experiments, provide an overview of participant demographics, task design, experimental set-up and compare the results from different experiments. Based on our empirical analysis, we provide guidelines to ensure the reliability of expert and non-expert evaluations, and we determine the factors that might affect the reliability of the human evaluation.