APO-VAE: جيل النص في الفضاء القطعي

غالبا ما تظهر اللغة الطبيعية هيكل هرمي متأصل متأرجلا مع بناء جملة معقدة ودليل. ومع ذلك، تعلم معظم النماذج الإدارية العميقة في أحدث تضمينها فقط في مساحة ناقلات Euclidean، دون محاسبة هذه الملكية الهيكلية للغة. في هذه الورقة، نحقق في جيل النص في مساحة كامنة ضئيلة لتعلم التمثيلات الهرمية المستمرة. يتم تقديم AutoNECODER AUTONICODER AUTONCODER (APO-VAE)، حيث يتم تعريف كل من الخلفية السابقة والتنتهي من المتغيرات الكامنة عبر كرة شاذة عبر التوزيعات العادية ملفوفة. من خلال اعتماد الصيغة البدائية المزدوجة لمخلاص Kullback-Leibler، يتم تقديم إجراء تعلم الخصم لتمكين التدريب النموذجي القوي. توضح تجارب واسعة النمذجة في النمذجة اللغوية ونقل النمط غير المعقول وتوليد استجابة الحوار فعالية نموذج APO-VAE المقترح على VAES في الفضاء الكامن Euclidean، وذلك بفضل قدراته الرائعة في التقاط التسلسلات الهرمية للغة الكامنة في الفضاء القطعي.

Natural language often exhibits inherent hierarchical structure ingrained with complex syntax and semantics. However, most state-of-the-art deep generative models learn embeddings only in Euclidean vector space, without accounting for this structural property of language. In this paper, we investigate text generation in a hyperbolic latent space to learn continuous hierarchical representations. An Adversarial Poincare Variational Autoencoder (APo-VAE) is presented, where both the prior and variational posterior of latent variables are defined over a Poincare ball via wrapped normal distributions. By adopting the primal-dual formulation of Kullback-Leibler divergence, an adversarial learning procedure is introduced to empower robust model training. Extensive experiments in language modeling, unaligned style transfer, and dialog-response generation demonstrate the effectiveness of the proposed APo-VAE model over VAEs in Euclidean latent space, thanks to its superb capabilities in capturing latent language hierarchies in hyperbolic space.