نحن نبحث عن طرق لإنشاء مفاهيم معقدة في النصوص من تلك البدائية أثناء تأسيسها في الصور.نقترح الرسم البياني للمفهوم والعلاقة (CRG)، والتي تبني أعلى تحليل الدوائر الانتخابية وتتكون من مفاهيم مجتمعة متكررة مع وظائف المسند.وفي الوقت نفسه، نقترح كسبية مفهوم
شبكة عصبية تسمى الملحن للاستفادة من CRG للتعلم المفهوم الأساس بصريا.على وجه التحديد، نتعلم تأريض كل من المفاهيم البدائية وجميع المفاهيم المكونة عن طريق محاذاةها إلى الصور وإظهار أن التعلم من تأليف يؤدي إلى نتائج أساسية أكثر قوة، مما يقاس بدقة مطابقة النص إلى الصورة.والجدير بالذكر أن نموذجنا يمكن أن ينشفي المفاهيم المتطرفة التي تشكل على مستوى الجملة الدقيقة على مستوى الجملة ومستوى الحمض المعترض (أو مستوى الكلمات).يؤدي الملحن إلى تحسين وضوحا في دقة مطابقة عندما تحتوي بيانات التقييم على تباين مركب كبير من بيانات التدريب.
البشر مرنين بشكل ملحوظ عند فهم جمل جديدة تشمل مجموعات من المفاهيم التي لم تصادفها من قبل. وقد أظهر العمل الحديث أنه في حين أن الشبكات العميقة يمكن أن تحاكي بعض قدرات اللغة البشرية عند تقديمها مع جمل جديدة، فإن الاختلاف المنهجي يكشف عن القيود في قدرات
فهم اللغة للشبكات. نوضح أن هذه القيود يمكن التغلب عليها من خلال معالجة تحديات التعميم في مجموعة بيانات GSCAN، والتي تقيس صراحة مدى جودة الوكيل قادرة على تفسير الأوامر اللغوية الجديدة في الرؤية، على سبيل المثال، أزواج رواية من الصفات والأسماء. مبدأ المفتاح الذي نستخدمه هو التركيز: أن الهيكل التركيبي للشبكات يجب أن يعكس الهيكل التركيبي للنطاق المشكلة التي يعالجونها، مع السماح لمعايير أخرى أن تتعلم نهاية إلى نهاية. إننا نبني آلية للأغراض العامة التي تمكن الوكلاء من تعميم فهم لغتهم إلى المجالات التركيبية. من الأهمية، لدى شبكتنا نفس الأداء الحديثة مثل العمل السابق أثناء تعميم معرفته عندما لا يعمل العمل السابق. توفر شبكتنا أيضا مستوى من الترجمة الشفوية التي تمكن المستخدمين من تفتيش ما يتعلمه كل جزء من الشبكات. إن فهم اللغة الأسطورية القوية دون إخفاقات مثيرة وبدون حالات الزاوية أمر بالغ الأهمية لبناء الروبوتات الآمنة والعادلة؛ نوضح الدور الهام الذي يمكن أن يلعبه التركيز في تحقيق هذا الهدف.
