ترغب بنشر مسار تعليمي؟ اضغط هنا

cotext: التعلم متعدد المهام مع محول نص التعليمات البرمجية

CoTexT: Multi-task Learning with Code-Text Transformer

271   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

نقدم COTEXT، وهو نموذج ترميز ترميز مدرب مسبقا مدرب مسبقا، يتعلم السياق التمثيلي بين اللغة الطبيعية (NL) ولغة البرمجة (PL). باستخدام الإشراف الذاتي، تم تدريب COTEX مسبقا على لغة البرمجة الكبيرة لشركة Corpora لتعلم فهم عام للغة والرمز. يدعم COTEXT مهام NL-PL المصب مثل الرمز الملخص / الوثائق، وتوليد الرموز، والكشف عن العيوب، وتصحيح التعليمات البرمجية. نحن ندرب مشعك على مجموعات مختلفة من Corpus المتوفرة المتوفرة بما في ذلك البيانات BIMODAL 'و Unimodal'. هنا، بيانات BIMODAL هي مزيج من النصوص النصية والنصوص المقابلة، في حين أن البيانات غير المستخدمة هي مجرد مقتطفات رمز. نقيم أولا COTEXT مع التعلم متعدد المهام: نقوم بإجراء تلخيص الكود على 6 لغات برمجة مختلفة وصقل التعليمات البرمجية على كل من الحجم الصغير والمتوسط ​​المميز في DataSet Codexglue. كلنا إجراء تجارب مكثفة للتحقيق في COTEXT على مهام أخرى ضمن DataSet Codexglue، بما في ذلك توليد التعليمات البرمجية والكشف عن العيوب. نحن نتحمل باستمرار نتائج SOTA في هذه المهام، مما يدل على تنوع نماذجنا.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

تعدد اللغات T5 Pretrains نموذج تسلسل إلى تسلسل على نصوص أحادية الأبعاد ضخمة، والتي أظهرت نتائج واعدة على العديد من المهام المتبقية اللغوية.في هذه الورقة، نحسن محول نقل النص إلى النص متعدد اللغات مع أزواج الترجمة (MT6).على وجه التحديد، نستكشف ثلاثة مه ام ما قبل التدريب النصي عبر اللغات، وهي الترجمة الآلية، والفساد زوج الترجمة، وتمضم الفساد المشترك.بالإضافة إلى ذلك، نقترح هدف جزئيا غير التلقائي للتدريب المسبق للنص.نقيم الأساليب على سبع مجموعات بيانات معيار متعددة اللغات، بما في ذلك تصنيف الجملة، والاعتراف بالكياء المسمى، والإجابة على الأسئلة، والتلخيص الجماعي.تظهر النتائج التجريبية أن MT6 المقترح يحسن عملية النقل عبر اللغات عبر MT5.
برزت التعلم المتعدد المهام مع ترميز المحولات (MTL) كتقنية قوية لتحسين الأداء على المهام ذات الصلة عن كثب لكل من الدقة والكفاءة في حين أن السؤال لا يزال يبقى ما إذا كان من شأنه أن يؤدي ذلك على المهام المميزة أم لا بشكل جيد في الطبيعة أم لا. نقوم أولا بإجراء نتائج MTL على خمس مهام NLP، POS، NER، DEP، CON، SRL، وتصوير نقصها على تعلم المهمة الفردية. ثم نقوم بإجراء تحليل جذري واسع النطاق لإظهار أن مجموعة معينة من رؤساء الاهتمام تعلن أن معظم المهام خلال MTL، والذين يتداخلون مع بعضهم البعض لضبط تلك الرؤوس لأهدافهم الخاصة. استنادا إلى هذا النتيجة، نقترح فرضية الخلايا الجذعية للكشف عن وجود اهتمام يرأس الموهوبين بشكل طبيعي للعديد من المهام التي لا يمكن تدريبها بشكل مشترك على إنشاء شرائح كافية لجميع تلك المهام. أخيرا، نقوم بتصميم تحقيقات خالية من المعلمات الجديدة لتبرير فرضيتنا وإظهار كيفية تحويل رؤساء الانتباه عبر المهام الخمسة خلال MTL من خلال تحليل الملصقات.
إن محول نقل النص إلى النص الأخير "'(T5) عند الاستفادة من تنسيق نصي إلى نص موحد ومقياس لتحقيق النتائج الحديثة على مجموعة واسعة من مهام NLP باللغة الإنجليزية.في هذه الورقة، نقدم MT5، وهو متغير متعدد اللغات من T5 الذي تم تدريبه مسبقا على مجموعة بيانات ج ديدة تستند إلى الزواحف تغطي 101 لغات.نحن تفصل على التصميم والتدريب المعدل ل MT5 وإظهار أدائه من أحدث المعايير متعددة اللغات.وصف أيضا تقنية بسيطة لمنع الترجمة العرضية "في إعداد الطلقة الصفرية، حيث يختار طراز عام (جزئيا) تنبؤه بلغة خاطئة.جميع الكود ونقاط التفتيش النموذجية المستخدمة في هذا العمل متاحة للجمهور.
أظهرت نماذج الترجمة الآلية غير التلقائية (NAT) تسريعا كبيرا للاستدلال، لكنها تعاني من دقة ترجمة أدنى. الممارسة الشائعة لمعالجة المشكلة هي نقل الترجمة الآلية التلقائي (في) معرفة نماذج NAT، على سبيل المثال، مع تقطير المعرفة. في هذا العمل، نحن نفترض وال تحقق تجريبيا من أن ترميز اللوائح في و NAT التقاط خصائص لغوية مختلفة من الجمل المصدر. لذلك، نقترح اعتماد التعلم متعدد المهام لنقل المعرفة إلى نماذج NAT من خلال تقاسم التشفير. على وجه التحديد، نأخذ النموذج في المهمة المساعدة لتعزيز أداء نموذج NAT. تظهر النتائج التجريبية على مجموعات بيانات WMT14 EN-DE و WMT16 EN-RO أن المهمة المتعددة المقترحة NAT تحقق تحسينات كبيرة على نماذج الأساس NAT. علاوة على ذلك، تؤكد الأداء الموجود على مجموعات بيانات WMT19 و WMT20 و WMT20 واسعة النطاق اتساق طريقةنا المقترحة. بالإضافة إلى ذلك، توضح النتائج التجريبية أن لدينا NAT متعددة المهام لدينا مكملة لتقطير المعرفة، وسيلة نقل المعرفة القياسية لل NAT.
تهدف التصنيف متعدد الوسائط واسع النطاق إلى التمييز بين مختلف البيانات متعددة الوسائط، وقد لفت الانتباه بشكل كبير منذ العقد الماضي. في هذه الورقة، نقترح إطارا متعدد المهام في مجال التعلم لمهمة التصنيف المتعدد الوسائط، والتي تتكون من فرعين: فرع متعدد ا لأضوانات متعدد الوسائط وفرع النمذجة متعددة الوسائط المستنتيت بالاهتمام. يمكن أن يتلقى AutoNcoder متعدد الوسائط ميزات متعددة الوسائط والحصول على المعلومات التفاعلية التي تسمى ميزة التشفير متعددة الوسائط، واستخدام هذه الميزة لإعادة تكوين جميع بيانات الإدخال. بالإضافة إلى ذلك، يمكن استخدام ميزة التشفير المتعددة مشروط لإثراء بيانات DataSet RAW، وتحسين أداء مهام المصب (مثل مهمة التصنيف). أما بالنسبة لفرع النمذجة المتعددة الأبعاد القائم على الانتباه، فإننا نوصي أولا آلية الاهتمام لجعل النموذج يركز على الميزات المهمة، ثم نستخدم ميزة التشفير متعددة الوسائط لإثراء معلومات الإدخال، وتحقيق أداء أفضل. نقوم بإجراء تجارب مكثفة على مجموعة بيانات مختلفة، توضح النتائج فعالية الإطار المقترح.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا