flowprior: تعلم البشاشة التعبيرية لنماذج الجملة المتغيرة الكامنة

يتم استخدام AutoNCoders Varitional (VAES) على نطاق واسع للنمذجة المتغيرة الكامنة للنص.نركز على الاختلافات التي تتعلم توزيعات مسبقة معبرة على المتغير الكامن.نجد أن استراتيجيات التدريب الحالية ليست فعالة لتعلم البثور الغابات، لذلك نقترح أن نقترح إضافة احتمال هامشي لسجل الأهمية كشرطة ثانية إلى هدف VAE القياسي للمساعدة عند تعلم المقيم السابق.يؤدي القيام بذلك إلى تحسين النتائج لجميع البثور التي قامت بتقييمها، بما في ذلك اختيار جديد للجملة VAES بناء على تطبيع التدفقات (NF).لم تعد Priors المعلمة مع NF مقيدة لعائلة توزيع محددة، مما يتيح طريقة أكثر مرونة لترميز توزيع البيانات.يظهر نموذجنا، الذي نسميه FOLPRIOR، تحسنا كبيرا في مهام نمذجة اللغة مقارنة مع خطوط الأساس القوية.نحن نوضح أن flowprior يتعلم التعبير قبل التحليل والعديد من أشكال التقييم التي تنطوي على جيل.

Variational autoencoders (VAEs) are widely used for latent variable modeling of text. We focus on variations that learn expressive prior distributions over the latent variable. We find that existing training strategies are not effective for learning rich priors, so we propose adding the importance-sampled log marginal likelihood as a second term to the standard VAE objective to help when learning the prior. Doing so improves results for all priors evaluated, including a novel choice for sentence VAEs based on normalizing flows (NF). Priors parameterized with NF are no longer constrained to a specific distribution family, allowing a more flexible way to encode the data distribution. Our model, which we call FlowPrior, shows a substantial improvement in language modeling tasks compared to strong baselines. We demonstrate that FlowPrior learns an expressive prior with analysis and several forms of evaluation involving generation.