تكوين مفهوم الأساس بصريا

نحن نبحث عن طرق لإنشاء مفاهيم معقدة في النصوص من تلك البدائية أثناء تأسيسها في الصور.نقترح الرسم البياني للمفهوم والعلاقة (CRG)، والتي تبني أعلى تحليل الدوائر الانتخابية وتتكون من مفاهيم مجتمعة متكررة مع وظائف المسند.وفي الوقت نفسه، نقترح كسبية مفهوم شبكة عصبية تسمى الملحن للاستفادة من CRG للتعلم المفهوم الأساس بصريا.على وجه التحديد، نتعلم تأريض كل من المفاهيم البدائية وجميع المفاهيم المكونة عن طريق محاذاةها إلى الصور وإظهار أن التعلم من تأليف يؤدي إلى نتائج أساسية أكثر قوة، مما يقاس بدقة مطابقة النص إلى الصورة.والجدير بالذكر أن نموذجنا يمكن أن ينشفي المفاهيم المتطرفة التي تشكل على مستوى الجملة الدقيقة على مستوى الجملة ومستوى الحمض المعترض (أو مستوى الكلمات).يؤدي الملحن إلى تحسين وضوحا في دقة مطابقة عندما تحتوي بيانات التقييم على تباين مركب كبير من بيانات التدريب.

We investigate ways to compose complex concepts in texts from primitive ones while grounding them in images. We propose Concept and Relation Graph (CRG), which builds on top of constituency analysis and consists of recursively combined concepts with predicate functions. Meanwhile, we propose a concept composition neural network called Composer to leverage the CRG for visually grounded concept learning. Specifically, we learn the grounding of both primitive and all composed concepts by aligning them to images and show that learning to compose leads to more robust grounding results, measured in text-to-image matching accuracy. Notably, our model can model grounded concepts forming at both the finer-grained sentence level and the coarser-grained intermediate level (or word-level). Composer leads to pronounced improvement in matching accuracy when the evaluation data has significant compound divergence from the training data.