نموذج الطالب التدريس من خلال نتائج التقديم للمهمة المشتركة

المهام المشتركة لها تاريخ طويل وأصبحت السائدة لأبحاث NLP. تتطلب معظم المهام المشتركة المشاركين تقديم مخرجات وأوصاف النظام فقط. من غير المألوف أن تطلب المهمة المشتركة تقديم النظام نفسه بسبب قضايا الترخيص وفروق التنفيذ. لذلك، يتم التخلي عن العديد من الأنظمة دون استخدامها في التطبيقات الحقيقية أو المساهمة في أنظمة أفضل. في هذا البحث، نقترح مخططا للاستفادة من كل تلك النظم التي شاركت في المهام المشتركة. نستخدم جميع مخرجات النظام المشارك كمعلمي المهام في هذا المخطط وتطوير نموذج جديد كطالب يهدف إلى تعلم خصائص كل نظام. نسمي هذا التدريس المشترك بين المخطط. "هذا المخطط يخلق نظام موحد يؤدي أفضل من أفضل نظام المهام الموحد. يتطلب فقط مخرجات النظام، والجهد الإضافي قليلا هناك حاجة إلى المشاركين والمنظمين. نحن نطبق هذا المخطط على المهمة المشتركة Shinra2019-JP، التي لديها تسعة مشاركين بدقة مختلفة من الإخراج، مما يؤكد أن النظام الموحد يتفوق على أفضل نظام. علاوة على ذلك، تم إصدار الرمز المستخدم في تجاربنا.

Shared tasks have a long history and have become the mainstream of NLP research. Most of the shared tasks require participants to submit only system outputs and descriptions. It is uncommon for the shared task to request submission of the system itself because of the license issues and implementation differences. Therefore, many systems are abandoned without being used in real applications or contributing to better systems. In this research, we propose a scheme to utilize all those systems which participated in the shared tasks. We use all participated system outputs as task teachers in this scheme and develop a new model as a student aiming to learn the characteristics of each system. We call this scheme Co-Teaching.'' This scheme creates a unified system that performs better than the task's single best system. It only requires the system outputs, and slightly extra effort is needed for the participants and organizers. We apply this scheme to the SHINRA2019-JP'' shared task, which has nine participants with various output accuracies, confirming that the unified system outperforms the best system. Moreover, the code used in our experiments has been released.