ترغب بنشر مسار تعليمي؟ اضغط هنا

الجيل القليل من طاولة الفرص إلى النص مع ذاكرة النموذج الأولي

Few-Shot Table-to-Text Generation with Prototype Memory

299   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

حققت نماذج جيل الجدول إلى النص العصبي تقدما ملحوظا في صفيف المهام.ومع ذلك، نظرا لطبيعة البيانات الجائعة للبيانات النماذج العصبية، تعتمد عروضها بقوة على أمثلة تدريبية واسعة النطاق، مما يحد من تطبيقها في تطبيقات العالم الحقيقي.لمعالجة هذا، نقترح إطارا جديدا: النموذج الأولي إلى إنشاء (P2G)، لجيل الجدول إلى النص تحت سيناريو القليل من اللقطات.يستخدم الإطار المقترح النماذج الأولية المستردة، التي تم اختيارها بشكل مشترك من قبل نظام IR ومحدد نموذج أولي جديد لمساعدة النموذج الذي سد الفجوة الهيكلية بين الجداول والنصوص.النتائج التجريبية على ثلاثة مجموعات بيانات معيار مع ثلاث نماذج أحدث من النماذج توضح أن الإطار المقترح يحسن بشكل كبير من أداء النموذج عبر مختلف مقاييس التقييم.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

إن توفير نماذج اللغة المحددة مسبقا مع أوصاف مهمة بسيطة في اللغة الطبيعية تمكنهم من حل بعض المهام بطريقة غير منشأة بالكامل. علاوة على ذلك، عند دمج التعلم المنتظم من الأمثلة، فإن هذه الفكرة تنتج نتائج قليلة رائعة لمجموعة واسعة من مهام تصنيف النص. كما أ نه اتجاه واعد في تحسين كفاءة البيانات في الإعدادات الاسرد، ولكن هناك العديد من التحديات لاستخدام مزيج من أوصاف المهام والتعلم القائم على المثال لتوليد النص. على وجه الخصوص، من الأهمية بمكان العثور على أوصاف المهام سهلة الفهم للنموذج المحدد مسبقا وتأكد من أنه يستخدم بالفعل منهم؛ علاوة على ذلك، يجب تنفيذ تدابير فعالة ضد التجاوز. في هذه الورقة، نظير على كيفية معالجة هذه التحديات: نقدم Genet، وهي طريقة للجيل النصي الذي يستند إلى تدريب استغلال النمط، وهو نهج حديث للجمع بين التعليمات النصية مع التعلم الإشراف الذي يعمل فقط من أجل تصنيف المهام. في العديد من مجموعات بيانات التلخيص وجيل النتائج، تقدم Genet تحسينات متسقة على خطوط خطوط خطوط خطوط خطوط قليلة في إعدادات قليلة.
الجيل القليل من طاولة النصوص إلى النص هو مهمة تأليف الجمل الطلالية والمخمة لنقل محتوى الجدول باستخدام بيانات محدودة. على الرغم من الجهود التي بذلت العديد من الجهود نحو توليد جمل بطلاقة مثيرة للإعجاب من خلال ضبط طرازات لغة قوية مدربة مسبقا، لا يزال بإ صلاح المحتوى الذي تم إنشاؤه يحتاج إلى تحسين. تحقيقا لهذه الغاية، تقترح هذه الورقة نهجا جديدا يحضر، وحفظ وتوليد (يسمى AMG)، مستوحاة من عملية توليد النص للبشر. على وجه الخصوص. (2) يحفظ ديناميكيا حالات مخصصات فتحة الجدول؛ و (3) يولد جمل مخلصة وفقا لحالات سياق وتخصيص الذاكرة. تشير التجارب الشاملة إلى التقييم البشري على ثلاثة مجالات (أي البشر، الأغاني، والكتب) من مجموعة بيانات الويكي أن نموذجنا يمكن أن يولد نصوص مؤهلة أعلى عند مقارنتها مع العديد من خطوط الأساس الحديثة، في كل من الطلاقة والإخلاص.
على الرغم من شعبية هائلة لأنظمة ذاكرة الترجمة والبحث النشط في هذا المجال، لا تزال ميزات معالجة اللغة الخاصة بها تعاني من قيود معينة.في حين أن العديد من الأوراق الأخيرة تركز على قدرات مطابقة الدلالية من TMS، فإن هذه الدراسة المخططة ستعالج كيفية أداء ه ذه الأدوات عند التعامل مع شرائح أطول وما إذا كان هذا قد يكون سببا لدرجات مطابقة أقل.سيتم تنفيذ تجربة على Corpora من مجالات مختلفة (متكررة).بعد النتائج، سيتم تقديم توصيات للتطورات المستقبلية من TMS الجديدة.
نقترح مهمة مشتركة على اختيار مثيل التدريب لعدد قليل من الجيل العصبي العصبي.أدت نماذج اللغة المحددة مسبقا على نطاق واسع إلى تحسينات مثيرة في جيل نص قليل.ومع ذلك، فإن كل العمل السابق تقريبا يطبق ما عليك سوى أخذ عينات عشوائية لتحديد مثيلات التدريب القلي لة.لقد تم إيلاء الاهتمام ليس إلى استراتيجيات الاختيار وكيف سيؤثرون على أداء النموذج.دراسة استراتيجية الاختيار يمكن أن تساعدنا (1) الاستفادة القصوى من ميزانية التوضيحية الخاصة بنا في مهام المصب و (2) من أفضل النماذج الإندارية النصية ذات القليل من القصاصات.نرحب بالتقديمات التي تقدم استراتيجيات اختيارها والآثار على جودة الجيل.
في هذه الورقة، ندرس استخدام النماذج اللغوية المدربة مسبقا لتمكين توليد لغة البندقية القليلة (NLG) في أنظمة الحوار الموجهة نحو المهام. نقدم نظاما يتكون من التدريب الذاتي التكراري وإطار قالب صغير قابل للتوسيع يتم تخصيص بيانات الإدخال المهيكلة في نص شبه طبيعي للاستفادة الكاملة من نماذج اللغة المدربة مسبقا. نحن نقارن تمثيلات Var Ious لإدخال ونماذج NLG وإخراجها وإظهار أن تحويل المدخلات والمخرجات لتكون مشابهة لما شابه نموذج اللغة من قبل أثناء التدريب المسبق يحسن أداء الطراز القليل من الطرازات. نظظ أن Mod-Els العصبي يمكن تدريبها على أساس عدد قليل من الأمثلة المشروحة مع توفير الدقة العالية، وخفضت إلى حد كبير متطلبات الموارد الخاصة بوقوف مجال جديد أو لغة. هذا مستوى كفاءة البيانات يزيل الحاجة إلى جمع بيانات الحشد مما أدى إلى جودة أعلى جودة مشروح من قبل اللغويين الخبراء. بالإضافة إلى ذلك، ستحسن عمليات صيانة النموذج والتصحيح في هذا الإعداد القليل من الرصاص. أخيرا، نستكشف تقطير واستخدام نظام التخزين المؤقت لإرضاء متطلبات الكمون لأنظمة العالم الحقيقي.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا