نحو سير عمل الجهاز البشري الهجين لتوليد اللغة الطبيعية

في السنوات الأخيرة، اكتسب التعهيد الجماعي الكثير من الاهتمام من الباحثين لإنشاء بيانات لأدوات جيل اللغة الطبيعية (NLG) أو تقييمها. ومع ذلك، تم استجواب جودة بيانات الجماعة الجماعية مرارا وتكرارا بسبب تعقيد مهارات NLG ومهارات العمال في الحشد. علاوة على ذلك، يمكن أن يكون التعهيد الجماعي أيضا مكلفا وغالبا ما لا يكون ممكنا لتوليد البيانات أو التقييم على نطاق واسع. للتغلب على هذه التحديات والاستفادة من نقاط القوة التكميلية للبشر والأدوات الآلية، نقترح سير عمل هجين - آلة الإنسان المصممة بشكل صريح لمهام NLG مع آليات مراقبة الجودة في الوقت الفعلي تحت قيود الميزانية. هذه المنهجية الهجينة هي أداة قوية لتحقيق بيانات عالية الجودة مع الحفاظ على الكفاءة. من خلال الجمع بين الذكاء البشري والآلات، تقرر سير العمل المقترح ديناميكيا في الخطوة التالية بناء على البيانات من الخطوات السابقة والمعطلات. هدفنا هو تقديم ليس فقط الأسس النظرية لسير العمل الهجين ولكن أيضا لتوفير تنفيذها كمصدر مفتوح في العمل في المستقبل.

In recent years, crowdsourcing has gained much attention from researchers to generate data for the Natural Language Generation (NLG) tools or to evaluate them. However, the quality of crowdsourced data has been questioned repeatedly because of the complexity of NLG tasks and crowd workers' unknown skills. Moreover, crowdsourcing can also be costly and often not feasible for large-scale data generation or evaluation. To overcome these challenges and leverage the complementary strengths of humans and machine tools, we propose a hybrid human-machine workflow designed explicitly for NLG tasks with real-time quality control mechanisms under budget constraints. This hybrid methodology is a powerful tool for achieving high-quality data while preserving efficiency. By combining human and machine intelligence, the proposed workflow decides dynamically on the next step based on the data from previous steps and given constraints. Our goal is to provide not only the theoretical foundations of the hybrid workflow but also to provide its implementation as open-source in future work.