تعلم تنظيم كيس من الكلمات إلى جمل مع الشبكات العصبية: دراسة تجريبية

من المفترض أن تكون المعلومات المتسلسلة، A.AK.A.، أمر ضروري لمعالجة تسلسل مع الشبكة العصبية المتكررة أو تشفير الشبكة العصبية المتكررة.ومع ذلك، هل من الممكن ترميز اللغات الطبيعية دون أوامر؟بالنظر إلى كيس من الكلمات من جملة مضطربة، قد لا يزال البشر قادرين على فهم ما تعني هذه الكلمات عن طريق إعادة ترتيبها أو إعادة بناءها.مستوحاة من هذا الحدس، في هذه الورقة، نقوم بإجراء دراسة للتحقيق في كيفية تأثير معلومات الطلب في تعلم اللغة الطبيعية.من خلال إدارة مقارنات شاملة، قارأت كميا قدرة العديد من النماذج العصبية الممثلة لتنظيم الأحكام من كيس من الكلمات بموجب ثلاثة سيناريوهات نموذجية، وتلخيص بعض النتائج والتحديات التجريبية، والتي يمكن أن تسلي الضوء على البحوث المستقبلية على خط العمل هذا.

Sequential information, a.k.a., orders, is assumed to be essential for processing a sequence with recurrent neural network or convolutional neural network based encoders. However, is it possible to encode natural languages without orders? Given a bag of words from a disordered sentence, humans may still be able to understand what those words mean by reordering or reconstructing them. Inspired by such an intuition, in this paper, we perform a study to investigate how order'' information takes effects in natural language learning. By running comprehensive comparisons, we quantitatively compare the ability of several representative neural models to organize sentences from a bag of words under three typical scenarios, and summarize some empirical findings and challenges, which can shed light on future research on this line of work.