ترغب بنشر مسار تعليمي؟ اضغط هنا

ugpt: المهام المساعدة وتعزيز البيانات لحوار نهاية إلى نهاية مع نماذج اللغة المدربة مسبقا

AuGPT: Auxiliary Tasks and Data Augmentation for End-To-End Dialogue with Pre-Trained Language Models

295   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

أثارت نماذج اللغة المدربة مسبقا مقرها الانتباه مثل GPT-2 تقدما كبيرا لنمذجة حوار نهاية إلى نهاية.ومع ذلك، فإنهم يقدمون أيضا مخاطر كبيرة للحوار الموجهة إلى المهام، مثل عدم وجود أسس المعرفة أو التنوع.لمعالجة هذه القضايا، نقدم أهداف تدريبية معدلة لنموذج اللغة Finetuning، ونحن نوظف تكبير بيانات ضخمة عبر الترجمة الخلفي لزيادة تنوع بيانات التدريب.ندرس إمكانيات الجمع بين البيانات من مصادر مضاعفات تحسين الأداء على مجموعة البيانات المستهدفة.نحن نقيم بعناية مساهماتنا مع كل من الأساليب البشرية والآلية.يتفوق نموذجنا بشكل كبير على خط الأساس على بيانات MultiWoz ويظهر أداء تنافسي مع حالة الفن في كل من التقييم التلقائي والإنساني.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

الأساليب نهاية إلى نهاية لمهام التسلسل أصبحت شعبية بشكل متزايد. ومع ذلك بالنسبة لمهام التسلسل المعقدة، مثل ترجمة الكلام، فإن الأنظمة التي تتالي أن العديد من النماذج المدربة على المهام الفرعية قد أظهرت متفوقة، مما يشير إلى أن تكوين النظم المتتالية يبس ط التعلم وتمكين قدرات البحث المتطورة. في هذا العمل، نقدم إطارا نهاية إلى نهائي يستغل التركيز لتعلم التمثيلات المخفية القابلة للبحث في المراحل المتوسطة لنموذج التسلسل باستخدام المهام الفرعية المتحللة. يمكن تحسين هذه الوسيط المخفي باستخدام بحث الشعاع لتعزيز الأداء العام ويمكنه أيضا دمج النماذج الخارجية في المراحل المتوسطة للشبكة لإعادة النتيجة أو التكيف باتجاه بيانات خارج المجال. مثيل واحد من الإطار المقترح هو نموذج متعدد اللمعان لترجمة الكلام التي تستخرج الوسطيات المخفية القابلة للبحث عن مهمة فرعية للتعرف على الكلام. يوضح النموذج الفوائد المذكورة أعلاه وتفوق على الحالة السابقة من بين الفن من خلال +6 و +3 بلو على مجموعتي الاختبار من Fisher-Callhome وحوالي +3 و +4 بلو على اللغة الإنجليزية والألمانية والإنجليزية - مجموعات اختبار فرنسية من must-c.
يدقق هذا البرنامج التعليمي أحدث التقدم التقني في التحليل النحوي ودور بناء الجملة في مهام معالجة اللغة الطبيعية المناسبة (NLP)، حيث يتمثل الترجمة الدلالية في الدورات الدلالية (SRL) والترجمة الآلية (MT) المهام التي لديهاكان دائما مفيدا من أدلة النحوية الإعلامية منذ فترة طويلة، على الرغم من أن التقدم من طرازات التعلم العميق المنتهي في النهاية يظهر نتائج جديدة.في هذا البرنامج التعليمي، سنقدم أولا الخلفية وأحدث التقدم المحرز في التحليل النحوي و SRL / NMT.بعد ذلك، سنلخص الأدلة الرئيسية حول التأثيرات النحوية على هذين المهامين المتعلقين، واستكشاف الأسباب وراء كل من الخلفيات الحسابية واللغوية.
تحدث نماذج اللغات القائمة على المحولات الحديثة ثورة في NLP. ومع ذلك، كانت الدراسات الحالية في النمذجة اللغوية مع بيرت تقتصر في الغالب على المواد باللغة الإنجليزية ولا تدفع اهتماما كافيا لمعرفة اللغة الضمنية باللغة، مثل الأدوار الدلالية والتفترض واللب ن، والتي يمكن الحصول عليها من قبل النموذج أثناء التدريب. وبالتالي، فإن الهدف من هذه الدراسة هو فحص السلوك لنموذج الموديل في مهمة النمذجة اللغوية الملثمين ولتقديم التفسير اللغوي إلى الآثار والأخطاء غير المتوقعة التي ينتجها النموذج. لهذا الغرض، استخدمنا مجموعة بيانات جديدة باللغة الروسية بناء على النصوص التعليمية للمتعلمين باللغة الروسية والمصفحة بمساعدة الشقوق الوطنية للغة الروسية. من حيث مقاييس الجودة (نسبة الكلمات، ذات الصلة دلالة الكلمة المستهدفة)، يتم التعرف على بيرت متعددة اللغات كأفضل نموذج. بشكل عام، كل طراز لديه نقاط قوة متميزة فيما يتعلق بظاهرة لغوية معينة. هذه الملاحظات لها آثار ذات مغزى على البحث في اللغويات المطبقة والبيتاجوجية، والمساهمة في تطوير نظام الحوار، وجعل التمارين التلقائية، وتجول النص، ويمكن أن يحتمل أن يحسن جودة التقنيات اللغوية الحالية
شهدت السنوات الأخيرة نجاحا رائعا في نظام الحوار الموجه نحو المهام في نهاية إلى نهج، خاصة عند دمج معلومات المعرفة الخارجية. ومع ذلك، لا تزال جودة الاستجابة المتولدة في معظم النماذج القائمة محدودة، ويرجع ذلك أساسا إلى عدم وجود التفكير الدقيق في المعرفة الحتمية (WRT الرموز المفاهيمية)، مما يجعل من الصعب التقاط التحولات المفهوم وتحديد نية المستخدم الحقيقية في الصليب -task سيناريوهات. لمعالجة هذه المشكلات، نقترح آلية نية جديدة لتحسين معرفة الكيان الحتمي بشكل أفضل. استنادا إلى مثل هذه الآلية، فإننا نقترح أيضا شبكة منطق النية (IR-NET)، والتي تتألف من التفكير المشترك والمتعدد، للحصول على تمثيلات نية من الرموز المفاهيمية التي يمكن استخدامها لالتقاط التحولات المفهوم المتضمنة في المهمة المحادثات المتداولة، بحيث لتحديد نية المستخدم بفعالية وتوليد ردود أكثر دقة. تحقق النتائج التجريبية من فعالية IR-NET، والتي توضح أنها تحقق الأداء الحديثة في مجموعات حوار ملثى متعدد المجالات.
يمكن أن أنظمة البحث عن المحادثة الناجحة تجربة تسوق طبيعية وتكيفية وتفاعلية لعملاء التسوق عبر الإنترنت. ومع ذلك، فإن بناء هذه الأنظمة من الصفر تواجه تحديات الكلمة الحقيقية من كل من مخطط المنتج / المعرفة غير الصحيحة ونقص بيانات حوار التدريب. في هذا الع مل، نقترح أولا Convechearch، ونظام بحث محادثة نهاية إلى نهاية يجمع عميقا من نظام الحوار مع البحث. إنه يرفع ملف تعريف النص لاسترداد المنتجات، وهو أكثر قوة ضد مخطط / معرفة المنتج غير الكاملة مقارنة باستخدام سمات المنتج وحدها. ثم نتطلع إلى عدم وجود تحديات البيانات من خلال اقتراح نهج نقل الكلام الذي يولد كلام الحوار باستخدام مربع الحوار الحالي من المجالات الأخرى، والاستفادة من بيانات سلوك البحث من تجارة التجزئة الإلكترونية. مع نقل الكلام، نقدم مجموعة بيانات جديدة للبحث عن محادثة للتسوق عبر الإنترنت. تبين التجارب أن طريقة نقل الكلام لدينا يمكن أن تحسن بشكل كبير من توفر بيانات الحوار التدريبية دون تحديد مصادر الحشد، وتفوق نظام البحث عن المحادثة بشكل كبير على أفضل خط الأساس اختباره.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا