قرار الخلاف الدولي: إجراء منهجي للوصول إلى توافق في الآراء في مهام التوضيحية

نقدم إجراء منهجي لقرار الخلاف الدولي.الإجراء عام، ولكن الاستخدام بشكل خاص في مهام التعليق المتعددة موجهة نحو بناء الحقيقة الأرضية.نقوم بحفز اقتراحنا من خلال القول بأن هدف الحالات التي يحظر فيها هدف الباحثين هو استنباط نقاط وجهة نظر مختلفة، فإن الخلاف القاطع هو علامة على ضعف الجودة في التصميم أو وصف المهمة.إجماع في الآراء بين المحن المعلقين، نحافظ، يجب أن ينتضل، من خلال إجراء منهجي لحل الخلاف مثل الوصف الذي نصفه.

We present a systematic procedure for interrater disagreement resolution. The procedure is general, but of particular use in multiple-annotator tasks geared towards ground truth construction. We motivate our proposal by arguing that, barring cases in which the researchers' goal is to elicit different viewpoints, interrater disagreement is a sign of poor quality in the design or the description of a task. Consensus among annotators, we maintain, should be striven for, through a systematic procedure for disagreement resolution such as the one we describe.