SOCCER: An Information-Sparse Discourse State Tracking Collection in the Sports Commentary Domain

في السعي لتحقيق فهم اللغة الطبيعية، كان هناك اهتمام طويل دائم بتتبع التغييرات الدولة في جميع أنحاء الروايات. تم إحراز تقدم مثير للإعجاب في النمذجة حالة الحوارات التي تركز على المعاملات والنصوص الإجرائية. ومع ذلك، فقد كانت هذه المشكلة أقل شمولا في عالم الخطاب العام حيث قد تكون أوصاف الحقيقة الأرضية للدول قد تكون محددة فضفاضة وتغييرات الدولة أقل بكثافة على الكلمات. تقترح هذه الورقة أن تتحول إلى أنظمة مبسطة ومرحزة بالكامل تظهر بعض هذه الخصائص: الأحداث الرياضية. لقد برزنا 2،263 مباراة لكرة القدم بما في ذلك التعليق اللغوي الطبيعي مختوم الوقت مصحوبا بأحداث منفصلة مثل أهداف تسجيل الفريق، أو تحويل اللاعبين أو يعاقبون مع البطاقات. نقترح صياغة مهمة جديدة حيث، نظرا للفقرات من تعليق اللعبة في الطوابع الزمنية المختلفة، يطلب من النظام الاعتراف بحدوث أحداث في اللعبة. يسمح هذا المجال بأوصاف الدولة الغنية مع تجنب تعقيدات العديد من إعدادات العالم الحقيقي الأخرى. كقطة أولية لقياس الأداء، فإننا ندرج طريقتان أساسيتين من وجهات نظر تصنيف الجملة مع الاعتماد الزمني والنموذج التوليدي الحالي للحالة الحديثة، على التوالي، وإظهار أن الأساليب الحالية المتطورة التي تعرضت للنضال على مهمة تتبع الدولة تعريف الدولة توسع أو الثرثرة غير الحدث تصبح سائدة.

In the pursuit of natural language understanding, there has been a long standing interest in tracking state changes throughout narratives. Impressive progress has been made in modeling the state of transaction-centric dialogues and procedural texts. However, this problem has been less intensively studied in the realm of general discourse where ground truth descriptions of states may be loosely defined and state changes are less densely distributed over utterances. This paper proposes to turn to simplified, fully observable systems that show some of these properties: Sports events. We curated 2,263 soccer matches including time-stamped natural language commentary accompanied by discrete events such as a team scoring goals, switching players or being penalized with cards. We propose a new task formulation where, given paragraphs of commentary of a game at different timestamps, the system is asked to recognize the occurrence of in-game events. This domain allows for rich descriptions of state while avoiding the complexities of many other real-world settings. As an initial point of performance measurement, we include two baseline methods from the perspectives of sentence classification with temporal dependence and current state-of-the-art generative model, respectively, and demonstrate that even sophisticated existing methods struggle on the state tracking task when the definition of state broadens or non-event chatter becomes prevalent.