ترغب بنشر مسار تعليمي؟ اضغط هنا

ApireCX: توصية API المكتبة عبر المكتبة عبر نموذج لغة مدرب مسبقا

APIRecX: Cross-Library API Recommendation via Pre-Trained Language Model

258   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

بالنسبة للمبرمجين، تعلم استخدام واجهات برمجة التطبيقات (واجهات برمجة التطبيق) لمكتبة البرمجيات أمرا مهما للغاية. يمكن لأدوات توصية API أن تساعد المطورين في استخدام واجهات برمجة التطبيقات من خلال التوصية باستخدام واجهات برمجة التطبيقات التي سيتم استخدامها بعد ذلك بالنظر إلى واجهات برمجة التطبيقات التي تمت كتابتها. تقليديا، يتم تطبيق نماذج اللغة مثل غرام N على توصية API. ومع ذلك، نظرا لأن مكتبات البرمجيات تبقي المتغيرات والمكتبات الجديدة تبقي الناشئة، فإن واجهات برمجة التطبيقات الجديدة شائعة. يمكن رؤية واجهات برمجة التطبيقات الجديدة هذه مثل كلمات OOV (خارج المفردات) ولا يمكن التعامل معها جيدا من خلال نهج توصية API الحالية بسبب عدم وجود بيانات تدريبية. في هذه الورقة، نقترح ApireCX، أول نهج توصية API للمكتبات، والذي يستخدم BPE لتقسيم كل مكالمة API في كل تسلسل API وقم بتدريب نموذج اللغة GPT. ثم توصي باختصارها عن طريق ضبط النموذج المدرب مسبقا. يمكن ل APIRECX ترحيل معرفة المكتبات الموجودة إلى مكتبة جديدة، ويمكن أن توصي بايس واجهات برمجة التطبيقات التي تعتبرها OOV مسبقا. نقوم بتقييم ApireCX على ست مكتبات وتؤكد النتائج فعاليتها من خلال مقارنة مع نهج توصية API نموذجية.

المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

هل يمكن لصق Bert مدربة مسبقا بلغة واحدة و GPT لآخر لترجمة النصوص؟يؤدي التدريب للإشراف على الذات باستخدام بيانات أحادية الأونلينغ فقط إلى نجاح نماذج اللغة المدربة مسبقا (ملثمين) في العديد من مهام NLP.ومع ذلك، فإن ربط بيرت مباشرة كتشفير و GPT حيث أن وح دة فك ترميز يمكن أن يكون تحديا في الترجمة الآلية، وفصول النماذج التي تشبه gpt إلى مكون متقاطع مكون مطلوب في فك تشفير SEQ2SEQ.في هذه الورقة، نقترح Graformer إلى الكسب غير المشروع نماذج اللغة المدربة مسبقا (ملثمين) للترجمة الآلية.مع بيانات أحادية الأبعاد لبيانات التدريب المسبق والتوازي لتدريب تطعيم، نستفيد إلى حد ما من استخدام كلا النوعين من البيانات.تظهر التجارب في 60 اتجاهات أن طريقتنا تحقق متوسط التحسينات من 5.8 بلو في X2EN و 2.9 بلو في اتجاهات EN2X مقارنة مع المحول متعدد اللغات من نفس الحجم.
في الآونة الأخيرة، تؤدي نماذج اللغات المدربة مسبقا مؤخرا (على سبيل المثال، بيرت متعددة اللغات) إلى المهام المتقاطعة المصب هي نتائج واعدة.ومع ذلك، فإن عملية التوصيل الدقيقة تغيرت حتما معلمات النموذج المدرب مسبقا ويضعف قدرتها على اللغات، مما يؤدي إلى أ داء فرعي الأمثل.لتخفيف هذه المشكلة، نستفيد من التعلم المستمر للحفاظ على قدرة اللغة الأصلية المتبادلة النموذجية المدربة مسبقا عندما نتنزهها إلى مهام المصب.توضح النتيجة التجريبية أن أساليبنا الراقية الخاصة بنا يمكن أن تحافظ بشكل أفضل على القدرة المتبادلة النموذجية المدربة مسبقا في مهمة استرجاع الجملة.حقق طرقنا أيضا أداء أفضل من خطوط الأساس الأخرى ذات الصقل الرصيف على علامة العلامة بين العلامات بين الكلام الصفرية عبر اللغات ومهام التعرف على الكيان المسماة.
رسالة الالتزام هي وثيقة تلخص تغييرات شفرة المصدر باللغة الطبيعية. تظهر رسالة الالتزام الجيدة بوضوح تغييرات شفرة المصدر، لذلك يعزز هذا التعاون بين المطورين. لذلك، فإن عملنا هو تطوير نموذج يكتب تلقائيا رسالة الالتزام. تحقيقا لهذه الغاية، نقوم بإصدار مج موعات بيانات 345K تتكون من تعديل التعليمات البرمجية وارتكاب الرسائل في ست لغات برمجة (بيثون، PHP، GO، Java، JavaScript، و Ruby). على غرار نموذج الترجمة الآلية العصبية (NMT)، باستخدام DataSet، نطعم تعديل التعليمات البرمجية إلى إدخال التشفير ورسالة الالتزام إلى إدخال فك الترميز وقياس نتيجة رسالة الالتزام التي تم إنشاؤها مع BLEU-4. أيضا، نقترح طرق التدريب التالية لتحسين نتيجة توليد رسالة الالتزام: (1) طريقة لمعالجة المدخلات لإطعام تعديل التعليمات البرمجية إلى إدخال التشفير. (2) طريقة تستخدم الوزن الأولي مناسب لمجال التعليمات البرمجية لتقليل الفجوة في التمثيل السياقي بين لغة البرمجة (PL) واللغة الطبيعية (NL).
ينقل التعرف على الكيان المسمى عبر المجال (NER) المعرفة NER من مجالات الموارد العالية إلى المجال المستهدف منخفض الموارد. نظرا للموارد المحدودة المسمى وانعكاف المجال، تعد Nor Cross-Domain مهمة صعبة. لمعالجة هذه التحديات، نقترح نهج تقطير المعرفة في مجال التكيف في مجال التدريجي - PDALN. أنه يحقق إمكانية التكيف المجال المتفوق من خلال توظيف ثلاثة مكونات: (1) تقنيات تكبير البيانات التكيفية، والتي تخفف فجوة عبر المجال وتسمية مضيفية في وقت واحد؛ (2) ميزات ثابتة نطاق المجال متعدد المستويات، مشتقة من نهج MMD متعدد الحبيبات (الحد الأقصى للتناقض المتوسط)، لتمكين نقل المعرفة عبر المجالات؛ (3) مخطط KD المتقدمة، والذي يتيح تدريجيا نماذج اللغة المدربة مسبقا مسبقا لأداء تكيف المجال. تشير تجارب واسعة على أربعة معايير إلى أن PDALN يمكن أن تتكيف بشكل فعال مجالات الموارد العالية إلى المجالات المستهدفة من الموارد المنخفضة، حتى لو كانت متنوعة من حيث الأنماط والكتابة. تشير المقارنة مع خطوط الأساس الأخرى إلى أداء الدولة الواحد لدليلن.
لقد قطع تحليل المعنويات شوطا طويلا لغات الموارد عالية الوزن بسبب توافر كورسا مشروح كبير.ومع ذلك، فإنه لا يزال يعاني من عدم وجود بيانات تدريب لغات الموارد المنخفضة.لمعالجة هذه المشكلة، نقترح شبكة الخصومة باللغة الشرطية (العشيرة)، وهي عبارة عن مبنى عصب ي نهاية إلى نهائي لتحليل المشاعر المتبادلة دون إشراف عبر اللغات.تختلف العشيرة عن العمل المسبق في ذلك، حيث يسمح للتدريب الخصم بتصدر على كل من الميزات المستفادة وتنبؤ المعنويات، لزيادة التمييزي للتمثيل المستفاد في الإعداد المتبادل.تظهر النتائج التجريبية أن العشيرة تفوقت على الطرق السابقة في مجموعة بيانات مراجعة الأمازون متعددة المجالات متعددة اللغات.يتم إصدار شفرة المصدر لدينا في https://github.com/hemanthkandula/clan.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا