أسئلة المتابعة الترطفة بصريا: مجموعة بيانات من الأسئلة المكانية التي تتطلب تاريخ الحوار

في هذه الورقة، نحدد وتقييم منهجية لاستخراج الأسئلة المكانية التي تعتمد على التاريخ من الحوارات البصرية.نقول أن السؤال يعتمد على التاريخ إذا كان يتطلب (أجزاء) تاريخ حواره المراد تفسيره.نقول أن بعض أنواع الأسئلة المرئية تحدد السياق الذي يعتمد عليه سؤال مكاني للمتابعة.نسمي السؤال الذي يقيد السياق: الزناد، ونحن نسمي السؤال المكاني الذي يتطلب الإجابة على سؤال الزناد: Zoomer.نستخرج تلقائيا أزواج الزناد و Zoomer المختلفة بناء على خاصية Visual التي تعتمد الأسئلة عليها (على سبيل المثال، اللون، رقم).نحل تدريجيا يدويا أزواج الزناد و Zoomer المستخرجة تلقائيا للتحقق من أن Zoomers التي تتطلب الزناد.نحن ننفذ بنية أساسية بسيطة بناء على تشفير سوتا متعددة الوسائط.نتائجنا تكشف أن هناك مساحة كبيرة لتحسين الإجابة على الأسئلة التي تعتمد على التاريخ.

In this paper, we define and evaluate a methodology for extracting history-dependent spatial questions from visual dialogues. We say that a question is history-dependent if it requires (parts of) its dialogue history to be interpreted. We argue that some kinds of visual questions define a context upon which a follow-up spatial question relies. We call the question that restricts the context: trigger, and we call the spatial question that requires the trigger question to be answered: zoomer. We automatically extract different trigger and zoomer pairs based on the visual property that the questions rely on (e.g. color, number). We manually annotate the automatically extracted trigger and zoomer pairs to verify which zoomers require their trigger. We implement a simple baseline architecture based on a SOTA multimodal encoder. Our results reveal that there is much room for improvement for answering history-dependent questions.