ترغب بنشر مسار تعليمي؟ اضغط هنا

توليد الهيكل إلى النص مع التدريب الذاتي، والتصوير القابل للقبول وتكييف السياق للمهمة المشتركة GEM

Structure-to-Text Generation with Self-Training, Acceptability Classifiers and Context-Conditioning for the GEM Shared Task

391   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

نستكشف استخدام مصنفات التدريب الذاتي والقبول مع النماذج المدربة مسبقا لتوليد اللغة الطبيعية في إعدادات هيكل إلى نص باستخدام ثلاث مجموعات بيانات GEM (E2E و WebNLG-EN و Schema-furdided).مع Dataset الحوار الموجهة للمخطط، نقوم أيضا بتجربة بما في ذلك المنعطفات المتعددة من السياق في المدخلات.نجد أن التدريب الذاتي مع مطابقة إعادة الإعمار مع تصفية مصنف القبول يمكن أن يحسن صحة دلالية، على الرغم من أن المكاسب محدودة في إعداد البيانات الكاملة.مع تكييف السياق، نجد أن بما في ذلك المنعطفات المتعددة في السياق يشجع النموذج على المحاذاة مع اختيارات كلمة المستخدم وصياغة وكذلك لتوليد المزيد من ردود متسقة ذاتية.في الإصدارات المستقبلية من تحدي GEM، نشجع إدراج مسارات قليلة لتشجيع البحث على كفاءة البيانات.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

المهمة المشتركة بشأن الميمات البغيضة هي تحدي يهدف إلى اكتشاف المحتوى البغيض في الميمات من خلال دعوة تنفيذ النظم التي تفهم الميمات، يحتمل أن تجمع بين الصورة والمعلومات النصية.يتكون التحدي من ثلاثة مهام اكتشاف: الكراهية، الفئة المحمية ونوع الهجوم.الأول هو مهمة تصنيف ثنائية، في حين أن الاثنين الآخران مهام التصنيف متعدد العلامات.تضمنت مشاركتنا خط الأساس بيرت القائم على النص (TXTBERT)، وهو نفسه ولكن إضافة معلومات من الصورة (IMGBERT)، ونهج الاسترجاع العصبي.لقد جربنا أيضا نماذج التصنيف المعزز للاسترجاع.وجدنا أن مجموعة Txtbert و Imgbert تحقق أفضل أداء من حيث النتيجة AUC ROC في قسمين من المهام الثلاث في مجموعة التطوير الخاصة بنا.
تبنت النهج الحديثة التجريدية لجيل النص إلى النص بنية فك التشفير الناجحة للغاية أو المتغيرات منها.تولد هذه النماذج نصا يجيد (ولكن في كثير من الأحيان غير دقيقة) وإجراء سيئة للغاية عند تحديد المحتوى المناسب وطلبه بشكل متماسك.للتغلب على بعض هذه القضايا، نقترح نموذجا عصبا بمرحلة تخطيط ماكرو تذكرنا مرحلة جيل تذكرنا بالطرق التقليدية التي تعتنق وحدات منفصلة للتخطيط وإعمال السطح.تمثل خطط الماكرو تنظيما رفيع المستوى للمحتوى الهام مثل الكيانات والأحداث وتفاعلاتها؛يتم تعلمهم من البيانات وإتاحة كمدخلات للمولد.تبين تجارب واسعة على معايير بيانات إلى نصية (Rotowire و MLB) أن نهجنا يتفوق على خطوط أساس تنافسية من حيث التقييم التلقائي والبشري.
تتطلب شبكات العصبية العميقة الحديثة من بين الفن بيانات تدريبية ذات صلة واسعة النطاق غالبا ما تكون مكلفة للحصول على أو غير متوفرة للعديد من المهام. لقد ثبت أن الإشراف ضعيف في شكل قواعد خاصة بالمجال مفيدا في مثل هذه الإعدادات لإنشاء بيانات التدريب المس مى ضعيف. ومع ذلك، فإن التعلم مع القواعد الضعيفة يتحدى بسبب طبيعته المهمة والصاخبة المتأصلة. تحدي إضافي هو تغطية القاعدة والتداخل، حيث يعتبر العمل المسبق على الإشراف الضعيف فقط الحالات التي تغطيها قواعد ضعيفة، وبالتالي تاركة بيانات قيمة غير مسفدة وراءها. في هذا العمل، نطور إطارا ضعيفا للإشراف (Astra) الذي يرفع جميع البيانات المتاحة لمهمة معينة. تحقيقا لهذه الغاية، نستفيد البيانات الخاصة بمهارات العمل من خلال التدريب الذاتي مع نموذج (الطالب) الذي يعتبر تمثيلات السياق ويتوقع التسميات الزائفة على الحالات التي قد لا تغطيها قواعد ضعيفة. ونحن نضع كذلك شبكة انتباه القاعدة (المعلم) التي تتعلم كيفية إجمالي الملصقات الزائفة الطلابية مع ملصقات القاعدة الضعيفة، مشروطة بإخلاصها والسياق الأساسي للمثيل. أخيرا، نقوم بإنشاء هدف تعليمي شبه إشراف للتدريب المنتهي بالبيانات غير المستمرة والقواعد الخاصة بالمجال، وكمية صغيرة من البيانات المسمى. توضح تجارب واسعة على ستة مجموعات بيانات قياسية لتصنيف النص فعالية نهجنا مع تحسينات كبيرة على خطوط الأساس الحديثة.
على الرغم من نجاحاتها الأخيرة في معالجة العديد من مهام NLP، لا تؤدي نماذج اللغة المدربة مسبقا على نطاق واسع وكذلك في إعدادات قليلة، حيث تتوفر حفنة من الأمثلة التدريبية فقط. لمعالجة هذا القصور، نقترح الطبقات، والتي تعني التدريب الذاتي مع تكبير المهمة، وهو نهج يبني على أفكارين رئيسيين للرافعة الفعالة من البيانات غير المسبقة. أولا، تستخدم Strata تكبير المهمة، وهي تقنية جديدة توليف كمية كبيرة من البيانات الخاصة بضبط المهمة المساعدة من النصوص المستهدفة من النصوص المستهدفة. ثانيا، تقوم الطبقات بإجراء تدريبات ذاتية من خلال زيادة ضبط النموذج القوي القوي الذي تم إنشاؤه بواسطة تكبير المهمة على توزيع واسع للبيانات المسمى الزائفة. توضح تجاربنا أن الطبقات يمكن أن تحسن بشكل كبير كفاءة عينة في 12 معيارا قليلة بالرصاص. بشكل ملحوظ، على DataSet SST-2 المعنويات، Strata، مع 8 أمثلة تدريبية فقط لكل فصل، تحقق نتائج قابلة للمقارنة للضبط بشكل جيد مع أمثلة تدريبية 67K. تكشف تحليلاتنا أن تكبير المهمة والتدريب الذاتي متكاملين وفعالا بشكل مستقل.
تدرس هذه الورقة مهمة جيل تسييس الهدسة (KG) للسيناريوهات التي يلعب فيها الهيكل دورا مهما. على سبيل المثال، يتكون المنشور العلمي من عنوان قصير وجسم طويل، حيث يمكن استخدام العنوان لإلغاء التأكيد على التفاصيل غير المهمة في الجسم. وبالمثل، لوظائف وسائل ال تواصل الاجتماعي القصيرة (، تغريدات)، يمكن زيادة السياق النادر من الألقاب، على الرغم من أن غالبا ما تكون مفقودة. مساهمتنا هي توليد / زيادة الهيكل ثم حقن هذه المعلومات في الترميز، باستخدام أجهزة الرماية الحالية للمستندات الأخرى، تكمل عناوين مفقودة / غير كاملة. نقترحون نهج ترميز وثيقة المعزز في الهيكل الجديد تتكون من المراحل التالية: المرحلة الأولى، وهي توليد الهيكل، تمتد المستند المحدد بمخططات الرماية ذات الصلة ولكن غائبة، وتعزيز السياق المفقود. المرحلة الثانية، وهيكل الترميز، تقوم ببناء رسم بياني للمخططات الرائقية والوثيقة المعينة للحصول على تمثيل الهيكل المدرك للنص المعزز. تحقق نتائج التجريبية الخاصة بنا أن تكبير هيكلنا المقترح والترميز / فك التشفير المعزز يمكن أن يحسن كجم لكل من السيناريوهات، مما يتفوق على أحدث من الفن.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا