SeqScore: معالجة الحواجز الموجهة إلى تقييم التعرف على الكيان المسمى

لمعالجة أزمة تلوح في الأفق من التقييم غير المقصود للتعرف على الكيان المسمى، نقترح إرشادات وإدخال SEQSCORE، حزمة البرمجيات لتحسين استنساخ.المبادئ التوجيهية التي نقترحها هي بسيطة للغاية ومركز حول الشفافية فيما يتعلق بكيفية تشفير القطاعات وسجلها.نوضح أنه على الرغم من البساطة الواضحة لتقييم NER، فإن الاختلافات غير المبلغ عليها في إجراءات التهديف يمكن أن تؤدي إلى تغييرات في الدرجات التي تعد كل من حجمها ملحوظا ومهمة إحصائية.وصفنا Seqcore، الذي يتناول العديد من القضايا التي تسبب فشل النسخ المتماثل.

To address a looming crisis of unreproducible evaluation for named entity recognition, we propose guidelines and introduce SeqScore, a software package to improve reproducibility. The guidelines we propose are extremely simple and center around transparency regarding how chunks are encoded and scored. We demonstrate that despite the apparent simplicity of NER evaluation, unreported differences in the scoring procedure can result in changes to scores that are both of noticeable magnitude and statistically significant. We describe SeqScore, which addresses many of the issues that cause replication failures.