نحو تقييم موضوعي جودة الملخصات الطبية الناتجة

نقترح طريقة لتقييم جودة النص الذي تم إنشاؤه عن طريق طلب المقيمين لحساب الحقائق، والحساب الدقيقة، واستدعاء، F-Score، ودقة من التهم الخام.نعتقد أن هذا النهج يؤدي إلى هدف أكثر وأسهل لإعادة إنتاج التقييم.نحن نطبق هذا على مهمة تلخيص التقرير الطبي، حيث قياس الجودة الموضوعية والدقة له أهمية قصوى.

We propose a method for evaluating the quality of generated text by asking evaluators to count facts, and computing precision, recall, f-score, and accuracy from the raw counts. We believe this approach leads to a more objective and easier to reproduce evaluation. We apply this to the task of medical report summarisation, where measuring objective quality and accuracy is of paramount importance.