ترغب بنشر مسار تعليمي؟ اضغط هنا

التحدي SelectGen: العثور على أفضل عينات تدريبية لتوليد النص العصبي القليل

The SelectGen Challenge: Finding the Best Training Samples for Few-Shot Neural Text Generation

535   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

نقترح مهمة مشتركة على اختيار مثيل التدريب لعدد قليل من الجيل العصبي العصبي.أدت نماذج اللغة المحددة مسبقا على نطاق واسع إلى تحسينات مثيرة في جيل نص قليل.ومع ذلك، فإن كل العمل السابق تقريبا يطبق ما عليك سوى أخذ عينات عشوائية لتحديد مثيلات التدريب القليلة.لقد تم إيلاء الاهتمام ليس إلى استراتيجيات الاختيار وكيف سيؤثرون على أداء النموذج.دراسة استراتيجية الاختيار يمكن أن تساعدنا (1) الاستفادة القصوى من ميزانية التوضيحية الخاصة بنا في مهام المصب و (2) من أفضل النماذج الإندارية النصية ذات القليل من القصاصات.نرحب بالتقديمات التي تقدم استراتيجيات اختيارها والآثار على جودة الجيل.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

الكشف التلقائي عن معلومات المؤامرة الحرجة في مراجعات عناصر الوسائط يشكل تحديات فريدة لكل من الحوسبة الاجتماعية واللغويات الحسابية. في هذه الورقة، نقترح إلقاء مشكلة اكتشاف تحيز المفسد في الخطاب عبر الإنترنت مهمة تبسيط النص. نحن تخمين أنه بالنسبة لزوج مستخدم العنصر، فإن مراجعة المستخدم الأكثر بساطة نتعلمه من ملخص عنصر أعلى احتمال تقديم المفسد. يشتمل نموذجنا العصبي على شبكة المحولات المتقدمة لتحتل شدة المفسد في تغريدات المستخدم. شيدنا مجموعة بيانات مستدامة مفلصة عالية الجودة كشط من تغريدات مراجعة غير مرغوبة وقترن بملخص العنوان وبيانات meta المستخرجة من مجال معين من الفيلم. إلى حد كبير، فإن نتائجنا الكمية والنوعية تزن في تأثير أداء وجود الكيان المسمى في ملخصات المؤامرة. أحصى ما يلاحظه على تقسيم وإعادة صياغة التراسل مع المعرفة المقطوعة من الإنجليزية في ويكيبيديا ومضربتها بشكل جيد في مجموعة بيانات الأفلام لدينا، فإن نموذجنا العصبي يظهر لتفوق كلا من خطوط طراز لغة وطيور أحادية الترجمة.
حققت نماذج جيل الجدول إلى النص العصبي تقدما ملحوظا في صفيف المهام.ومع ذلك، نظرا لطبيعة البيانات الجائعة للبيانات النماذج العصبية، تعتمد عروضها بقوة على أمثلة تدريبية واسعة النطاق، مما يحد من تطبيقها في تطبيقات العالم الحقيقي.لمعالجة هذا، نقترح إطارا جديدا: النموذج الأولي إلى إنشاء (P2G)، لجيل الجدول إلى النص تحت سيناريو القليل من اللقطات.يستخدم الإطار المقترح النماذج الأولية المستردة، التي تم اختيارها بشكل مشترك من قبل نظام IR ومحدد نموذج أولي جديد لمساعدة النموذج الذي سد الفجوة الهيكلية بين الجداول والنصوص.النتائج التجريبية على ثلاثة مجموعات بيانات معيار مع ثلاث نماذج أحدث من النماذج توضح أن الإطار المقترح يحسن بشكل كبير من أداء النموذج عبر مختلف مقاييس التقييم.
إن توفير نماذج اللغة المحددة مسبقا مع أوصاف مهمة بسيطة في اللغة الطبيعية تمكنهم من حل بعض المهام بطريقة غير منشأة بالكامل. علاوة على ذلك، عند دمج التعلم المنتظم من الأمثلة، فإن هذه الفكرة تنتج نتائج قليلة رائعة لمجموعة واسعة من مهام تصنيف النص. كما أ نه اتجاه واعد في تحسين كفاءة البيانات في الإعدادات الاسرد، ولكن هناك العديد من التحديات لاستخدام مزيج من أوصاف المهام والتعلم القائم على المثال لتوليد النص. على وجه الخصوص، من الأهمية بمكان العثور على أوصاف المهام سهلة الفهم للنموذج المحدد مسبقا وتأكد من أنه يستخدم بالفعل منهم؛ علاوة على ذلك، يجب تنفيذ تدابير فعالة ضد التجاوز. في هذه الورقة، نظير على كيفية معالجة هذه التحديات: نقدم Genet، وهي طريقة للجيل النصي الذي يستند إلى تدريب استغلال النمط، وهو نهج حديث للجمع بين التعليمات النصية مع التعلم الإشراف الذي يعمل فقط من أجل تصنيف المهام. في العديد من مجموعات بيانات التلخيص وجيل النتائج، تقدم Genet تحسينات متسقة على خطوط خطوط خطوط خطوط خطوط قليلة في إعدادات قليلة.
غالبا ما يتطلب جيل النص الشرطي القيود المعجمية، أي الكلمات التي يجب أو لا ينبغي إدراجها في نص الإخراج. في حين أن الوصفة المهيمنة لجيل النظام الشرطي كانت نماذج لغوية متماثلة على نطاق واسع يتم تصويرها على بيانات التدريب الخاصة بمهام المهام، فإن مثل هذه النماذج لا تتعلم اتباع القيود الأساسية بشكل موثوق، حتى عند الإشراف على كميات كبيرة من الأمثلة الخاصة بمهام المهام وبعد نقترح فك التشفير العصبي، خوارزمية بسيطة ولكنها فعالة تمكن نماذج اللغة العصبية - تحت إشراف أو لا - لتوليد نص بطلاقة مع مرضية القيود المعقدة المعقدة. نهجنا قوي بعد كفاءة. يتعامل مع أي مجموعة من القيود المعجمية المعبرة تحت المنطق المسند، في حين أن وقت التشغيل مقاربها يعادل البحث عن شعاع التقليدية. تظهر النتائج التجريبية على أربعة معايير أن فك التشفير العصبي تتفوق على النهج السابقة، بما في ذلك الخوارزميات التي تتعامل مع مجموعة فرعية من قيودنا. علاوة على ذلك، نجد أن النماذج غير الخاضعة للكشف عن فك التشفير العصبي في كثير من الأحيان تفوق النماذج الخاضعة للإشراف مع فك التشفير التقليدي، حتى عندما تستند الأخير إلى شبكات أكبر بكثير. تشير نتائجنا إلى حد الشبكات العصبية واسعة النطاق لتوليد القابل للتحكم بالقلق ووعد خوارزميات وقت الاستقدمية.
تعتمد معالجة اللغة الطبيعية (NLP) بشكل متزايد على الأنظمة العامة المناسبة التي تحتاج إلى التعامل مع العديد من الظواهر اللغوية المختلفة والفروق الدقيقة. على سبيل المثال، يتعين على نظام الاستدلال باللغة الطبيعية (NLI) أن يتعرف على المعنويات، والتعامل م ع الأرقام، وإجراء حلول، وما إلى ذلك. لا تزال حلولنا للمشاكل المعقدة بعيدة عن الكمال، لذلك من المهم إنشاء أنظمة يمكن أن تتعلم تصحيح الأخطاء بسرعة، تدريجيا، ومع القليل من البيانات التدريبية. في هذا العمل، نقترح مهمة التعلم القليلة المستمرة (CFL)، حيث يتم الطعن للنظام بظاهرة صعبة وطلب منهم أن يتعلموا تصحيح الأخطاء مع أمثلة تدريبية فقط (10 إلى 15). تحقيقا لهذه الغاية، نقوم أولا بإنشاء معايير بناء على البيانات المشروحة مسبقا: DetaSets NLI (Anli and Snli) ومجموعات بيانات تحليل المشاعر (IMDB). بعد ذلك، نقدم خطوط أساس مختلفة من النماذج المتنوعة (على سبيل المثال، أخطاقات علم الذاكرة والشبكات النموذجية) ومقارنتها في التعلم القليل من الطلقات والكم من إعدادات التعلم القليلة المستمرة. إن مساهماتنا هي في إنشاء بروتوكول جناح وتقييم معيار لاستمرار التعلم القليل من الرصاص حول مهام تصنيف النص، وعمل العديد من الملاحظات المثيرة للاهتمام حول سلوك الأساليب القائمة على التشابه. نأمل أن يعمل عملنا كنقطة انطلاق مفيدة للعمل في المستقبل على هذا الموضوع الهام.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا