المنطقة قيد المناقشة للحوار البصري

يفترض أن الحوار المرئي يطلب من محفوظات الحوار إنشاء ردود صحيحة أثناء مربع حوار.ومع ذلك، ليس من الواضح من العمل السابق كيفية حاجة تاريخ حوار الحوار إلى مربع الحوار المرئي.في هذه الورقة، نحدد ما يعنيه سؤال مرئي يحتاج إلى سجل حوار ونصدر مجموعة فرعية من التخمين؟!الأسئلة التي تغير تاريخ حوارهم تماما ردودهم.نقترح تمثيل رواية مفسدية تاريخ حوار حوار بصريا: المنطقة قيد المناقشة.وهو يقيد ميزات الصورة المكانية وفقا لتمثيل الدلالي للتاريخ المستوحى من مفهوم هيكل المعلومات حول السؤال قيد المناقشة. نحن نقيم الهندسة المعمارية على النماذج متعددة الوسائط الخاصة بمهام المهام ونموذج محول البصر lxmert.

Visual Dialog is assumed to require the dialog history to generate correct responses during a dialog. However, it is not clear from previous work how dialog history is needed for visual dialog. In this paper we define what it means for a visual question to require dialog history and we release a subset of the Guesswhat?! questions for which their dialog history completely changes their responses. We propose a novel interpretable representation that visually grounds dialog history: the Region under Discussion. It constrains the image's spatial features according to a semantic representation of the history inspired by the information structure notion of Question under Discussion.We evaluate the architecture on task-specific multimodal models and the visual transformer model LXMERT.