كيف تعميم نماذج التسلسل العصبي؟العظة المحلية والعالمية للتنبؤ خارج التوزيع

بعد أن يواجه نموذج التسلسل العصبي رمزية غير متوقعة، هل يمكن التنبؤ بسلوكه؟ نظهر أن نماذج Language RNN وحول المحولات تعرض تعميم مهيكلا متسقا في سياقات خارج التوزيع. نبدأ بإدخال نماذجين مثالية من التعميم في التنبؤ التالي بالكلمة التالية: نموذج سياق معجمي يعمل فيه التعميم يتفق مع الكلمة الأخيرة الملاحظة، ونموذج السياق النحامي الذي يتوافق فيه التعميم مع الهيكل العالمي للمدخلات. في تجارب باللغة الإنجليزية والفنلندية والماندرين ولغات منتظمة عشوائية، نوضح أن نماذج اللغة العصبية محبط بين هذين الشكلين من التعميم: تنبؤاتها تقارب جيدا من خلال مزيج خطي من التوزيعات التنبؤية المعجمية والنوعية. ثم نوضح ذلك، في بعض اللغات، يتوسط الضوضاء شكلين التعميم: الضوضاء المطبقة على رموز المدخلات تشجع التعميم النحوي، في حين أن الضوضاء في تمثيلات التاريخ تشجع التعميم المعجمي. أخيرا، نقدم شرحا نظريا أوليا لهذه النتائج من خلال إثبات أن سلوك الاستيفاء الملحوظ متوقع في النماذج الخطية من السجل مع هيكل ارتباط ميزة معينة. تساعد هذه النتائج في تفسير فعالية خططيتين تنظيمي شعبيتين وإظهار أن جوانب تعميم نموذج التسلسل يمكن فهمها والسيطر عليها.

After a neural sequence model encounters an unexpected token, can its behavior be predicted? We show that RNN and transformer language models exhibit structured, consistent generalization in out-of-distribution contexts. We begin by introducing two idealized models of generalization in next-word prediction: a lexical context model in which generalization is consistent with the last word observed, and a syntactic context model in which generalization is consistent with the global structure of the input. In experiments in English, Finnish, Mandarin, and random regular languages, we demonstrate that neural language models interpolate between these two forms of generalization: their predictions are well-approximated by a log-linear combination of lexical and syntactic predictive distributions. We then show that, in some languages, noise mediates the two forms of generalization: noise applied to input tokens encourages syntactic generalization, while noise in history representations encourages lexical generalization. Finally, we offer a preliminary theoretical explanation of these results by proving that the observed interpolation behavior is expected in log-linear models with a particular feature correlation structure. These results help explain the effectiveness of two popular regularization schemes and show that aspects of sequence model generalization can be understood and controlled.