هل يمكن استخدام المحولات كحل قطرة لاستخراج RNNS في Ganes التي توليد النص؟

في هذه الورقة، نتعلم مشكلة توليد النصوص الدقيقة بميزانية حسابية محدودة.لذلك، نستخدم هندسة شبكة مصممة ذات أداء أداء جيدا (GAN) - Gan التي ترويج التنوع (DPGAN)، وحاول استبدال قطرة LSTM بطبقة محول ذاتية انتباهي من أجل الرافعة الماليةكفاءتهم.تم تقييم DPGan الناتج عن النفس (SADPGAN) للأداء والجودة والتنوع للنص والاستقرار الناتج.تشير التجارب الحاسوبية إلى أن بنية محول غير قادرة على الاسترجاع في استبدال طبقة LSTM، ضمان الأداء أثناء مرحلة التدريب المسبق وتخضع لانهيار الوضع الكامل أثناء مرحلة ضبط GAN.تشير نتائجنا إلى أن الهندسة المعمارية المحول تحتاج إلى تكييفها قبل أن يتم استخدامها كإعداد لاستبدال RNNS في قانع إنشاء النصوص.

In this paper we address the problem of fine-tuned text generation with a limited computational budget. For that, we use a well-performing text generative adversarial network (GAN) architecture - Diversity-Promoting GAN (DPGAN), and attempted a drop-in replacement of the LSTM layer with a self-attention-based Transformer layer in order to leverage their efficiency. The resulting Self-Attention DPGAN (SADPGAN) was evaluated for performance, quality and diversity of generated text and stability. Computational experiments suggested that a transformer architecture is unable to drop-in replace the LSTM layer, under-performing during the pre-training phase and undergoing a complete mode collapse during the GAN tuning phase. Our results suggest that the transformer architecture need to be adapted before it can be used as a replacement for RNNs in text-generating GANs.