شبكات وحدات للتعليمات التركيبية التالية

البنية القياسية المستخدمة في التعليمات التالية غالبا ما تكافح على تركيبات رواية من الفئة (E.G. التنقل إلى المعالم أو التقاط الأشياء) لاحظت أثناء التدريب.نقترح هندسة معيارية لاتباع تعليمات اللغة الطبيعية التي تصف تسلسلات فرعية متنوعة.في نهجنا، فروع الوحدات الفرعية تنفذ كل تعليمات لغة طبيعية لنوع فرعي محدد.يتم اختيار تسلسل من الوحدات النمطية للتنفيذ عن طريق تعلم تقسيم التعليمات والتنبؤ بنوع فرعي لكل شريحة.بالمقارنة مع أساليب التسلسل القياسية وغير المعيارية إلى التسلسل على Alfred، وهي تعليم صعبة بعد المعيار، نجد أن التجديف يحسن التعميم على التراكيب الفرعية الجديدة، وكذلك في البيئات غير المرئية في التدريب.

Standard architectures used in instruction following often struggle on novel compositions of subgoals (e.g. navigating to landmarks or picking up objects) observed during training. We propose a modular architecture for following natural language instructions that describe sequences of diverse subgoals. In our approach, subgoal modules each carry out natural language instructions for a specific subgoal type. A sequence of modules to execute is chosen by learning to segment the instructions and predicting a subgoal type for each segment. When compared to standard, non-modular sequence-to-sequence approaches on ALFRED, a challenging instruction following benchmark, we find that modularization improves generalization to novel subgoal compositions, as well as to environments unseen in training.