نقترح على التمييز المستقبلي لتوليد (Fudge)، وسيلة مرنة وحيونية للجيل المسيطر الذي يتم التحكم فيه.بالنظر إلى نموذج G موجه مسبقا لتوليد النص من توزيع الفائدة، يتيح الافعال تكييف السمة المرغوبة A (على سبيل المثال، الشكلية) أثناء الوصول إلى تسجيل الدخول فقط إلى سجل الإخراج G فقط.تتعلم Fudge مؤشر سمة يعمل على تسلسل جزئي، ويستخدم مخرجات هذا المؤشر لضبط الاحتمالات الأصلية G.نظهر أن نماذج الهرج تطل على تحلل بايزي للتوزيع الشرطي ل G معين من السمة A.علاوة على ذلك، يمكن أن يؤدي fudge بسهولة تنبؤات للسمات المتعددة المرغوبة.نقوم بتقييم الهراء في ثلاث مهام --- الانتهاء من الإكمال في الشعر، والتحكم في الموضوع في توليد اللغة، وتغيير الشكليات في الترجمة الآلية - - ومراقبة المكاسب في جميع المهام الثلاث.
We propose Future Discriminators for Generation (FUDGE), a flexible and modular method for controlled text generation. Given a pre-existing model G for generating text from a distribution of interest, FUDGE enables conditioning on a desired attribute a (for example, formality) while requiring access only to G's output logits. FUDGE learns an attribute predictor operating on a partial sequence, and uses this predictor's outputs to adjust G's original probabilities. We show that FUDGE models terms corresponding to a Bayesian decomposition of the conditional distribution of G given attribute a. Moreover, FUDGE can easily compose predictors for multiple desired attributes. We evaluate FUDGE on three tasks --- couplet completion in poetry, topic control in language generation, and formality change in machine translation --- and observe gains in all three tasks.
المراجع المستخدمة
https://aclanthology.org/
تزايد نماذج اللغة المدربة مسبقا للمحولات أداء أنظمة حوار المجال المفتوح. Works Prefer Works Simply القائمة على تحويلات قائمة مدربة مسبقا لتوليد النصوص ذات السمات المرغوبة في نهجين عامين: (1) الأساليب القائمة على التدرج: تحديث جميع التمثيلات الكامنة ل
أظهرت النماذج العصبية الكبيرة المدربة مسبقا تقدما ملحوظا في جيل النص. في هذه الورقة، نقترح إنشاء نص مكيف على البيانات المهيكلة (الجدول) وبادئة (النص المكتوب) من خلال الاستفادة من النماذج المدربة مسبقا. نقدم بيانات جديدة إلى نص البيانات، جدول مع نص مك
تبنت النهج الحديثة التجريدية لجيل النص إلى النص بنية فك التشفير الناجحة للغاية أو المتغيرات منها.تولد هذه النماذج نصا يجيد (ولكن في كثير من الأحيان غير دقيقة) وإجراء سيئة للغاية عند تحديد المحتوى المناسب وطلبه بشكل متماسك.للتغلب على بعض هذه القضايا،
أدت التطورات الأخيرة في الشبكات العصبية إلى التقدم في توليد البيانات إلى النص.ومع ذلك، فإن الافتقار إلى قدرة النماذج العصبية للسيطرة على هيكل الإخراج الذي تم إنشاؤه يمكن أن يحد في بعض تطبيقات العالم الحقيقي.في هذه الدراسة، نقترح إطارا جديدا لخطة الرو
إحدى التحديات في استرجاع المعلومات (IR) هي مشكلة عدم تطابق المفردات، والتي تحدث عندما تكون الشروط بين الاستفسارات والمستندات مختلفة بشكل جذابي ولكنها مماثلة دلالة. في حين اقترح العمل الحديث توسيع الاستعلامات أو المستندات من خلال إثراء تمثيلاتها مع مص