تزايد نماذج اللغة المدربة مسبقا للمحولات أداء أنظمة حوار المجال المفتوح. Works Prefer Works Simply القائمة على تحويلات قائمة مدربة مسبقا لتوليد النصوص ذات السمات المرغوبة في نهجين عامين: (1) الأساليب القائمة على التدرج: تحديث جميع التمثيلات الكامنة للنماذج المدربة مسبقا مع تدرجات من نماذج السمة؛ (2) طرق فك التشفير المرجح: إعادة ترتيب المرشحين من النماذج المدربة مسبقا مع وظائف السمة. ومع ذلك، تؤدي الأساليب المستندة إلى التدرج إلى تكلفة حساب مرتفعة ويمكن بسهولة الحصول عليها بسهولة على مجموعات تدريبية صغيرة، في حين أن طرق فك التشفير المرجحة تعاني بطبيعتها بطبيعتها النموذج المتدرب المحلي المنخفض. في هذا العمل، نقترح نهجا جديدا للتحكم في جيل النماذج اللغوية المدربة مسبقا للمحولات: الإطار Sidecontrol، الذي يهدف إلى فقدان سمات التحكم الجديدة لفقدان إشارات تحكم مفيدة، ويبضاها تؤدي جيدا مع التدريب المحدود للغاية عينات. نقوم بتقييم أسلوبنا المقترح في مجموعات بيانات الحوار المفتوح للمجال المفتوحة، وتظهر النتائج أن إطار Sidecontrol يحتوي على مكافحة تحكم أفضل، وجودة جيل أعلى وكفاءة أفضل عينة من خطوط الأساس القائمة على التدرج والموزن.
Transformer-based pre-trained language models boost the performance of open-domain dialogue systems. Prior works leverage Transformer-based pre-trained language models to generate texts with desired attributes in two general approaches: (1) gradient-based methods: updating all latent representations of pre-trained models with gradients from attribute models; (2) weighted-decoding methods: re-ranking beam candidates from pre-trained models with attribute functions. However, gradient-based methods lead to high computation cost and can easily get overfitted on small training sets, while weighted-decoding methods are inherently constrained by the low-variance high-bias pre-trained model. In this work, we propose a novel approach to control the generation of Transformer-based pre-trained language models: the SideControl framework, which leverages a novel control attributes loss to incorporate useful control signals, and is shown to perform well with very limited training samples. We evaluate our proposed method on two benchmark open-domain dialogue datasets, and results show that the SideControl framework has better controllability, higher generation quality and better sample-efficiency than existing gradient-based and weighted-decoding baselines.
المراجع المستخدمة
https://aclanthology.org/
نقترح على التمييز المستقبلي لتوليد (Fudge)، وسيلة مرنة وحيونية للجيل المسيطر الذي يتم التحكم فيه.بالنظر إلى نموذج G موجه مسبقا لتوليد النص من توزيع الفائدة، يتيح الافعال تكييف السمة المرغوبة A (على سبيل المثال، الشكلية) أثناء الوصول إلى تسجيل الدخول
على الرغم من تحقيق أداء ملحوظ، عادة ما تستخدم أعمال المعرفة المعززة بالمعرفة عادة قاعدة معرفة متجانسة واحدة متجانسة من تغطية المعرفة المحدودة. وبالتالي، فإنهم غالبا ما ينضون في الأساليب التقليدية لأنه لا يمكن ربط جميع الحوارات بإدخالات المعرفة. تقترح
البحث في أنظمة الحوار مفتوح المجال التي تسمح بمواضيع مجانية صعبة في مجال معالجة اللغات الطبيعية (NLP). تم تحسين أداء نظام الحوار مؤخرا من خلال الطريقة التي تستخدم المعرفة المتعلقة بالحوار؛ ومع ذلك، فإن أنظمة الحوار غير الإنجليزية تعاني من إعادة إنتاج
إن دمج مصادر المعرفة الخارجية بفعالية في المحادثات هي مشكلة طويلة الأمد في أبحاث الحوار مفتوح المجال. إن الأدبيات الموجودة على اختيار المعرفة المفتوحة للمجال محدود ويقتصر بعض الافتراضات الهشة على مصادر المعرفة لتبسيط المهمة الشاملة، مثل وجود عقوبة مع
لقد أثبت العمل الحديث في وكلاء المحادثة المفتوحة على أن التحسينات الكبيرة في الإنسانية وتفضيل المستخدم يمكن تحقيقها عبر التحجيم الضخم في كل من بيانات التدريب المسبق وحجم النموذج (Adiwardana et al.، 2020؛ الأسطوانة وآخرون، 2020). ومع ذلك، إذا كنا نريد