ترغب بنشر مسار تعليمي؟ اضغط هنا

الهراء: توليد النص الذي يتم التحكم فيه مع التمييز في المستقبل

FUDGE: Controlled Text Generation With Future Discriminators

218   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

نقترح على التمييز المستقبلي لتوليد (Fudge)، وسيلة مرنة وحيونية للجيل المسيطر الذي يتم التحكم فيه.بالنظر إلى نموذج G موجه مسبقا لتوليد النص من توزيع الفائدة، يتيح الافعال تكييف السمة المرغوبة A (على سبيل المثال، الشكلية) أثناء الوصول إلى تسجيل الدخول فقط إلى سجل الإخراج G فقط.تتعلم Fudge مؤشر سمة يعمل على تسلسل جزئي، ويستخدم مخرجات هذا المؤشر لضبط الاحتمالات الأصلية G.نظهر أن نماذج الهرج تطل على تحلل بايزي للتوزيع الشرطي ل G معين من السمة A.علاوة على ذلك، يمكن أن يؤدي fudge بسهولة تنبؤات للسمات المتعددة المرغوبة.نقوم بتقييم الهراء في ثلاث مهام --- الانتهاء من الإكمال في الشعر، والتحكم في الموضوع في توليد اللغة، وتغيير الشكليات في الترجمة الآلية - - ومراقبة المكاسب في جميع المهام الثلاث.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

تزايد نماذج اللغة المدربة مسبقا للمحولات أداء أنظمة حوار المجال المفتوح. Works Prefer Works Simply القائمة على تحويلات قائمة مدربة مسبقا لتوليد النصوص ذات السمات المرغوبة في نهجين عامين: (1) الأساليب القائمة على التدرج: تحديث جميع التمثيلات الكامنة ل لنماذج المدربة مسبقا مع تدرجات من نماذج السمة؛ (2) طرق فك التشفير المرجح: إعادة ترتيب المرشحين من النماذج المدربة مسبقا مع وظائف السمة. ومع ذلك، تؤدي الأساليب المستندة إلى التدرج إلى تكلفة حساب مرتفعة ويمكن بسهولة الحصول عليها بسهولة على مجموعات تدريبية صغيرة، في حين أن طرق فك التشفير المرجحة تعاني بطبيعتها بطبيعتها النموذج المتدرب المحلي المنخفض. في هذا العمل، نقترح نهجا جديدا للتحكم في جيل النماذج اللغوية المدربة مسبقا للمحولات: الإطار Sidecontrol، الذي يهدف إلى فقدان سمات التحكم الجديدة لفقدان إشارات تحكم مفيدة، ويبضاها تؤدي جيدا مع التدريب المحدود للغاية عينات. نقوم بتقييم أسلوبنا المقترح في مجموعات بيانات الحوار المفتوح للمجال المفتوحة، وتظهر النتائج أن إطار Sidecontrol يحتوي على مكافحة تحكم أفضل، وجودة جيل أعلى وكفاءة أفضل عينة من خطوط الأساس القائمة على التدرج والموزن.
أظهرت النماذج العصبية الكبيرة المدربة مسبقا تقدما ملحوظا في جيل النص. في هذه الورقة، نقترح إنشاء نص مكيف على البيانات المهيكلة (الجدول) وبادئة (النص المكتوب) من خلال الاستفادة من النماذج المدربة مسبقا. نقدم بيانات جديدة إلى نص البيانات، جدول مع نص مك توب (TWT)، عن طريق إعادة تعيين مجموعات بيانات حالية: Totto و Tabract. يحتوي TWT على تصريحات واقعية ومنطقية مخلصة للبيانات المنظمة، تهدف إلى العمل كمعيار مفيد للجيل المسيطر عليه. بالمقارنة مع إعدادات المهام الحالية إلى النص، يكون TWT أكثر بديهية، يتحكم البادئة (عادة ما يوفرها المستخدم) موضوع النص الذي تم إنشاؤه. عادة ما يتم إخراج الأساليب الحالية النص الهلوسة غير المؤمنين على TWT. لذلك، نقوم بتصميم نهج رواية مع رؤية الاهتمام على أساس الجدول وآلية النسخ على الطاولة. تظهر النتائج التجريبية أن نهجنا يتفوق على الأساليب الحديثة بموجب مقاييس التقييم التلقائي والإنساني.
تبنت النهج الحديثة التجريدية لجيل النص إلى النص بنية فك التشفير الناجحة للغاية أو المتغيرات منها.تولد هذه النماذج نصا يجيد (ولكن في كثير من الأحيان غير دقيقة) وإجراء سيئة للغاية عند تحديد المحتوى المناسب وطلبه بشكل متماسك.للتغلب على بعض هذه القضايا، نقترح نموذجا عصبا بمرحلة تخطيط ماكرو تذكرنا مرحلة جيل تذكرنا بالطرق التقليدية التي تعتنق وحدات منفصلة للتخطيط وإعمال السطح.تمثل خطط الماكرو تنظيما رفيع المستوى للمحتوى الهام مثل الكيانات والأحداث وتفاعلاتها؛يتم تعلمهم من البيانات وإتاحة كمدخلات للمولد.تبين تجارب واسعة على معايير بيانات إلى نصية (Rotowire و MLB) أن نهجنا يتفوق على خطوط أساس تنافسية من حيث التقييم التلقائي والبشري.
أدت التطورات الأخيرة في الشبكات العصبية إلى التقدم في توليد البيانات إلى النص.ومع ذلك، فإن الافتقار إلى قدرة النماذج العصبية للسيطرة على هيكل الإخراج الذي تم إنشاؤه يمكن أن يحد في بعض تطبيقات العالم الحقيقي.في هذه الدراسة، نقترح إطارا جديدا لخطة الرو اية (Plangen) لتحسين قابلية تحكم نماذج البيانات النصية العصبية.يتم إجراء تجارب واسعة من التجارب والتحليلات على مجموعة من مجموعات البيانات القياسية، Totto و Webnlg.تظهر النتائج أن نموذجنا قادر على التحكم في كل من الجملة داخل الجملة وبنية الجملة بين الإخراج الناتج.علاوة على ذلك، تظهر المقارنات التجريبية ضد الأساليب السابقة من الأساليب السابقة أن نموذجنا يحسن جودة التوليد وكذلك تنوع الإخراج عند الحكم على التقييمات البشرية والآلية.
إحدى التحديات في استرجاع المعلومات (IR) هي مشكلة عدم تطابق المفردات، والتي تحدث عندما تكون الشروط بين الاستفسارات والمستندات مختلفة بشكل جذابي ولكنها مماثلة دلالة. في حين اقترح العمل الحديث توسيع الاستعلامات أو المستندات من خلال إثراء تمثيلاتها مع مص طلحات ذات صلة إضافية لمعالجة هذا التحدي، فإنها عادة ما تتطلب حجم كبير من أزواج المستندات لتدريب نموذج التوسع. في هذه الورقة، نقترح توسيع مستندات غير محفوظة مع إطار عمل جيل (UDEG) مع نموذج لغة مدرب مسبقا، مما يولد جمل تكميلية متنوعة للمستند الأصلي دون استخدام تسميات على أزواج المستندات للاستعلام للتدريب. لتوليد الجمل، فإننا ناضطنا بشكل غير منتفضل بإداراتهم لتوليد جمل أكثر تنوعا للتوسع المستند. نحن نتحقق من صحة إطار عملائنا على مجموعة بيانات القياسية القياسية. تظهر النتائج أن إطارنا يتفوق بشكل كبير على خطوط الأساس التوسع ذات الصلة إلى الأشعة تحت الحمراء.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا