لقد كانت معروفة منذ فترة طويلة أن Sparsity هي تحيز حثي فعال لتعلم التمثيل الفعال للبيانات في المتجهات ذات الأبعاد الثابتة، وقد تم استكشافها في العديد من مجالات التعلم التمثيل. من اهتمام خاص بهذا العمل هو التحقيق في Sparsity ضمن إطار VAE الذي تم استكش
افه كثيرا في مجال الصورة، ولكنه كان يفتقر إلى مستوى الاستكشاف الأساسي في NLP. بالإضافة إلى ذلك، يتخلف NLP أيضا من حيث تعلم تمثيلات متفرق لوحدات نصية كبيرة على سبيل المثال، الجمل. نحن نستخدم VAES التي تحفز التمثيلات الكامنة المتفرقة لوحدات نصية كبيرة لمعالجة أوجه القصور المذكورة أعلاه. أولا، ننتقل في هذا الاتجاه من خلال قياس نجاح الحالة غير المعردة للدولة (SOTA) وغيرها من خطوط الأساس السريع في VAE للنص واقتراح نموذج VIE هرمي متفرق لمعالجة مشكلة الاستقرار في سوتا. بعد ذلك، ننظر إلى آثار Sparsity على تصنيف النص عبر 3 مجموعات من مجموعات البيانات، وتسليط الضوء على ارتباط بين أداء التمثيلات الكامنة المتفرعة حول مهام المصب وقدرته على تشفير المعلومات المتعلقة بالمهام.
