Compositional Networks Enable Systematic Generalization for Grounded Language Understanding

البشر مرنين بشكل ملحوظ عند فهم جمل جديدة تشمل مجموعات من المفاهيم التي لم تصادفها من قبل. وقد أظهر العمل الحديث أنه في حين أن الشبكات العميقة يمكن أن تحاكي بعض قدرات اللغة البشرية عند تقديمها مع جمل جديدة، فإن الاختلاف المنهجي يكشف عن القيود في قدرات فهم اللغة للشبكات. نوضح أن هذه القيود يمكن التغلب عليها من خلال معالجة تحديات التعميم في مجموعة بيانات GSCAN، والتي تقيس صراحة مدى جودة الوكيل قادرة على تفسير الأوامر اللغوية الجديدة في الرؤية، على سبيل المثال، أزواج رواية من الصفات والأسماء. مبدأ المفتاح الذي نستخدمه هو التركيز: أن الهيكل التركيبي للشبكات يجب أن يعكس الهيكل التركيبي للنطاق المشكلة التي يعالجونها، مع السماح لمعايير أخرى أن تتعلم نهاية إلى نهاية. إننا نبني آلية للأغراض العامة التي تمكن الوكلاء من تعميم فهم لغتهم إلى المجالات التركيبية. من الأهمية، لدى شبكتنا نفس الأداء الحديثة مثل العمل السابق أثناء تعميم معرفته عندما لا يعمل العمل السابق. توفر شبكتنا أيضا مستوى من الترجمة الشفوية التي تمكن المستخدمين من تفتيش ما يتعلمه كل جزء من الشبكات. إن فهم اللغة الأسطورية القوية دون إخفاقات مثيرة وبدون حالات الزاوية أمر بالغ الأهمية لبناء الروبوتات الآمنة والعادلة؛ نوضح الدور الهام الذي يمكن أن يلعبه التركيز في تحقيق هذا الهدف.

Humans are remarkably flexible when understanding new sentences that include combinations of concepts they have never encountered before. Recent work has shown that while deep networks can mimic some human language abilities when presented with novel sentences, systematic variation uncovers the limitations in the language-understanding abilities of networks. We demonstrate that these limitations can be overcome by addressing the generalization challenges in the gSCAN dataset, which explicitly measures how well an agent is able to interpret novel linguistic commands grounded in vision, e.g., novel pairings of adjectives and nouns. The key principle we employ is compositionality: that the compositional structure of networks should reflect the compositional structure of the problem domain they address, while allowing other parameters to be learned end-to-end. We build a general-purpose mechanism that enables agents to generalize their language understanding to compositional domains. Crucially, our network has the same state-of-the-art performance as prior work while generalizing its knowledge when prior work does not. Our network also provides a level of interpretability that enables users to inspect what each part of networks learns. Robust grounded language understanding without dramatic failures and without corner cases is critical to building safe and fair robots; we demonstrate the significant role that compositionality can play in achieving that goal.