نقدم إجراء منهجي لقرار الخلاف الدولي.الإجراء عام، ولكن الاستخدام بشكل خاص في مهام التعليق المتعددة موجهة نحو بناء الحقيقة الأرضية.نقوم بحفز اقتراحنا من خلال القول بأن هدف الحالات التي يحظر فيها هدف الباحثين هو استنباط نقاط وجهة نظر مختلفة، فإن الخلاف
القاطع هو علامة على ضعف الجودة في التصميم أو وصف المهمة.إجماع في الآراء بين المحن المعلقين، نحافظ، يجب أن ينتضل، من خلال إجراء منهجي لحل الخلاف مثل الوصف الذي نصفه.
في السنوات الأخيرة، اكتسب التعهيد الجماعي الكثير من الاهتمام من الباحثين لإنشاء بيانات لأدوات جيل اللغة الطبيعية (NLG) أو تقييمها. ومع ذلك، تم استجواب جودة بيانات الجماعة الجماعية مرارا وتكرارا بسبب تعقيد مهارات NLG ومهارات العمال في الحشد. علاوة على
ذلك، يمكن أن يكون التعهيد الجماعي أيضا مكلفا وغالبا ما لا يكون ممكنا لتوليد البيانات أو التقييم على نطاق واسع. للتغلب على هذه التحديات والاستفادة من نقاط القوة التكميلية للبشر والأدوات الآلية، نقترح سير عمل هجين - آلة الإنسان المصممة بشكل صريح لمهام NLG مع آليات مراقبة الجودة في الوقت الفعلي تحت قيود الميزانية. هذه المنهجية الهجينة هي أداة قوية لتحقيق بيانات عالية الجودة مع الحفاظ على الكفاءة. من خلال الجمع بين الذكاء البشري والآلات، تقرر سير العمل المقترح ديناميكيا في الخطوة التالية بناء على البيانات من الخطوات السابقة والمعطلات. هدفنا هو تقديم ليس فقط الأسس النظرية لسير العمل الهجين ولكن أيضا لتوفير تنفيذها كمصدر مفتوح في العمل في المستقبل.
