ARTA: Collection and Classification of Ambiguous Requests and Thoughtful Actions

يجب أن تتخذ أنظمة المساعدة الإنسانية مثل أنظمة الحوار إجراءات مدروسة ومناسبة ليس فقط لطلبات المستخدم الواضحة وغير التي لا لبس فيها، ولكن أيضا لطلبات المستخدم الغامضة، حتى لو لم يكن المستخدمون أنفسهم على دراية بمتطلباتهم المحتملة. لبناء مثل هذا وكيل الحوار، قامنا بجمع كوربوس وتطوير نموذج يصنف طلبات المستخدم الغامضة في إجراءات النظام المقابلة. من أجل جمع كوربوس عالي الجودة، طلبنا من العمال لإدخال طلبات المستخدم السابقة لامرأة التي يمكن اعتبار الإجراءات المحددة مسبقا مدروسا. على الرغم من أن الإجراءات المتعددة يمكن تحديدها على أنها مدروس لطلب مستخدم واحد، فإن فحص جميع مجموعات طلبات المستخدمين وإجراءات النظام غير عملي. لهذا السبب، شرحنا بالكامل فقط بيانات الاختبار وترك التعليق التوضيحي لبيانات التدريب غير مكتملة. لتدريب نموذج التصنيف على بيانات التدريب هذه، طبقنا طريقة التعلم الإيجابية / غير المستمرة (PU)، التي تفترض أن جزءا فقط من البيانات يتم وصفه بأمثلة إيجابية. تظهر النتائج التجريبية أن طريقة التعلم بو تحقق أداء أفضل من طريقة التعلم الإيجابية / السلبية العامة (PN) لتصنيف الإجراءات المدروسة بالنظر إلى طلب مستخدم غامض.

Human-assisting systems such as dialogue systems must take thoughtful, appropriate actions not only for clear and unambiguous user requests, but also for ambiguous user requests, even if the users themselves are not aware of their potential requirements. To construct such a dialogue agent, we collected a corpus and developed a model that classifies ambiguous user requests into corresponding system actions. In order to collect a high-quality corpus, we asked workers to input antecedent user requests whose pre-defined actions could be regarded as thoughtful. Although multiple actions could be identified as thoughtful for a single user request, annotating all combinations of user requests and system actions is impractical. For this reason, we fully annotated only the test data and left the annotation of the training data incomplete. In order to train the classification model on such training data, we applied the positive/unlabeled (PU) learning method, which assumes that only a part of the data is labeled with positive examples. The experimental results show that the PU learning method achieved better performance than the general positive/negative (PN) learning method to classify thoughtful actions given an ambiguous user request.