التعلم المضاد للتناقض لشقاء اللغات

حققت شبكات الخصومة التوليدية (GANS) نجاحا كبيرا في توليف الصور، لكنه أثبت أنه من الصعب توليد لغة طبيعية. التحديات تنشأ من إشارات التعلم غير المنفصلة التي تم تمريرها من التمييز. وبعبارة أخرى، فإن إشارات التعلم السيئة تحد من قدرة التعلم لتوليد اللغات مع الهياكل والدلالات الغنية. في هذه الورقة، نقترحنا اعتماد طريقة التعلم المضاد للتعبير (CCL) لدعم تدريب المولد في محكمة اللغات. على النقيض من الجنانيين القياسيين الذين يعتمدون مصنف ثنائي بسيط للتمييز عما إذا كانت العينة حقيقية أو مزيفة، فإننا نوظف إشارة تعليمية مضادة للتناقض التي تقدم تدريبا على تدريب أجهزة اللغات بواسطة (1) سحب تمثيلات اللغة للعينات الناتجة والرصيصة معا و (2) دفع تمثيلات العينات الحقيقية للتنافس مع التمييز وبالتالي تمنع التمييز عن التمييز. نقيم طريقتنا على كل من المعايير الاصطناعية والحقيقة وتحصل على أداء تنافسي مقارنة بالجنطات السابقة لتوليد التسلسل الخصم.

Generative Adversarial Networks (GANs) have achieved great success in image synthesis, but have proven to be difficult to generate natural language. Challenges arise from the uninformative learning signals passed from the discriminator. In other words, the poor learning signals limit the learning capacity for generating languages with rich structures and semantics. In this paper, we propose to adopt the counter-contrastive learning (CCL) method to support the generator's training in language GANs. In contrast to standard GANs that adopt a simple binary classifier to discriminate whether a sample is real or fake, we employ a counter-contrastive learning signal that advances the training of language synthesizers by (1) pulling the language representations of generated and real samples together and (2) pushing apart representations of real samples to compete with the discriminator and thus prevent the discriminator from being overtrained. We evaluate our method on both synthetic and real benchmarks and yield competitive performance compared to previous GANs for adversarial sequence generation.