أمثلة مقترنة على أنها إشراف غير مباشر في نماذج القرارات الكامنة

النماذج التركيبية المنظمة جذابة لأنها تتحلل صراحة المشاكل وتوفير مخرجات متوسطة تفسير تفسر الثقة في أن النموذج ليس مجرد إزالته على القطع الأثرية للبيانات. ومع ذلك، فإن تعلم هذه النماذج صعبة، ومع ذلك، نظرا لأن الإشراف على المهمة النهائية يوفر فقط إشارة غير مباشرة ضعيفة حول القيم التي يجب أن تتخذ القرارات الكامنة. غالبا ما يؤدي ذلك إلى فشل النموذج في تعلم كيفية تنفيذ المهام الوسيطة بشكل صحيح. في هذا العمل، نقدم طريقة للاستفادة من الأمثلة المقترنة التي توفر إشارات أقوى لتعلم القرارات الكامنة. عندما تتخلى أمثلة تدريبية ذات صلة بالحرارة الداخلية، نضيف هدف تدريب إضافي لتشجيع الاتساق بين قراراتهم الكامنة. لا يتطلب مثل هذا الهدف إشراف خارجي لقيم الإخراج الكامن، أو حتى المهمة النهائية، حتى الآن يوفر إشارة تدريب إضافية إلى ذلك من خلال أمثلة تدريب فردية أنفسهم. نحن نطبق طريقتنا لتحسين سؤال التركيبي الرد باستخدام شبكات الوحدات النمطية العصبية على Dropet DataSet. نستكشف ثلاث طرق للحصول على أسئلة مقترنة في قطرة: (أ) اكتشاف أمثلة مقترنة بشكل طبيعي داخل DataSet، (ب) بناء أمثلة مقترنة باستخدام القوالب، و (ج) إنشاء أمثلة مقنعة باستخدام نموذج جيل سؤال. إننا نوضح تجريبيا أن نهجنا المقترح يحسن التعميم داخل التوزيع ويؤدي إلى تصحيح تنبؤات القرارات الكامنة.

Compositional, structured models are appealing because they explicitly decompose problems and provide interpretable intermediate outputs that give confidence that the model is not simply latching onto data artifacts. Learning these models is challenging, however, because end-task supervision only provides a weak indirect signal on what values the latent decisions should take. This often results in the model failing to learn to perform the intermediate tasks correctly. In this work, we introduce a way to leverage paired examples that provide stronger cues for learning latent decisions. When two related training examples share internal substructure, we add an additional training objective to encourage consistency between their latent decisions. Such an objective does not require external supervision for the values of the latent output, or even the end task, yet provides an additional training signal to that provided by individual training examples themselves. We apply our method to improve compositional question answering using neural module networks on the DROP dataset. We explore three ways to acquire paired questions in DROP: (a) discovering naturally occurring paired examples within the dataset, (b) constructing paired examples using templates, and (c) generating paired examples using a question generation model. We empirically demonstrate that our proposed approach improves both in- and out-of-distribution generalization and leads to correct latent decision predictions.