الفهم القراءة الآلة التفاعلية (IMRC) هو مهام فهم الجهاز حيث تكون مصادر المعرفة يمكن ملاحظتها جزئيا.يجب أن يتفاعل الوكيل مع بيئة بالتتابع لجمع المعرفة اللازمة من أجل الإجابة على سؤال.نحن نفترض أن تمثيلات الرسم البياني هي تحيزات حثي جيدة، والتي يمكن أن
تكون بمثابة آلية ذاكرة الوكيل في مهام IMRC.نستكشف أربع فئات مختلفة من الرسوم البيانية التي يمكنها التقاط معلومات نصية على مختلف المستويات.نحن تصف الأساليب التي تقوم ببناء وتحديث هذه الرسوم البيانية هذه ديناميكيا أثناء جمع المعلومات، وكذلك النماذج العصبية لتشفير تمثيلات الرسم البياني في وكلاء RL.تشير تجارب واسعة النطاق على ISquad إلى أن تمثيلات الرسم البياني يمكن أن تؤدي إلى تحسينات كبيرة في الأداء لعوامل RL.
نقترح أن نقترح Captioner أخبار البصرية، وهو نموذج كيائن كيائن لمهمة تقسيم صورة الأخبار. نقدم أيضا Visual News، وهو معيار واسع النطاق يتكون من أكثر من مليون صورة إخبارية إلى جانب المقالات الإخبارية المرتبطة، وتستياؤ الصور، ومعلومات المؤلف، والبيانات ا
لوصفية الأخرى. على عكس مهمة تقسيم الصور القياسية، تصور الصور الأخبار المواقف التي يكون فيها الأشخاص والمواقع والأحداث ذات أهمية قصوى. يمكن أن تجمع طريقةنا المقترحة بشكل فعال بين الميزات المرئية والنصية لتوليد التسميات التوضيحية مع معلومات أكثر ثراء مثل الأحداث والكيانات. وبشكل أكثر تحديدا، تم تصميمها على بنية المحولات، يتم تزويد نموذجنا بمزيد من المجهز بتقنيات الانصهار متعددة الوسائط على الرواية وآليات الاهتمام، والتي تم تصميمها لتوليد كيانات اسمه أكثر دقة. تستخدم طريقتنا معلمات أقل بكثير مع تحقيق نتائج تنبؤ أفضل قليلا من الأساليب المنافسة. توضح مجموعة بيانات الأخبار المرئية الأكبر والأكثر تنوعا التحديات المتبقية في تصوير الصور الإخبارية.
