ترغب بنشر مسار تعليمي؟ اضغط هنا

Haconvgnn: الانتباه الهرمي في الرسم البياني التضوير العلاجي في الشبكة العصبية لجيل الوثائق التعليمات البرمجية في أجهزة الكمبيوتر المحمولة Jupyter

HAConvGNN: Hierarchical Attention Based Convolutional Graph Neural Network for Code Documentation Generation in Jupyter Notebooks

481   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

يسمح دفتر Jupyter لعلماء البيانات كتابة رمز تعلم الآلة مع وثائقها في الخلايا.في هذه الورقة، نقترح مهمة جديدة من توليد وثائق التعليمات البرمجية (CDG) لأجهزة الكمبيوتر المحمولة الحسابية.على النقيض من مهام CDG السابقة التي تركز على توليد وثائق لفظات شفرة واحدة، في دفتر ملاحظات حسابي، غالبا ما يتوافق وثائق في خلية في خلية تخطيطية مع خلايا التعليمات البرمجية المتعددة، ولديها خلايا التعليمات البرمجية هذه هيكل متأصل.اقترحنا نموذجا جديدا (Haconvgnn) الذي يستخدم آلية اهتمام هرمي للنظر في خلايا التعليمات البرمجية ذات الصلة ومعلومات الرموز التعليمية ذات الصلة عند إنشاء الوثائق.تم اختباره على كوربوس جديد تم إنشاؤه من أجهزة كمبيوتر دفاتر Kaggle موثقة جيدا، نظرا لأن نموذجنا يفوق النماذج الأساسية الأخرى.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

تهدف المنطق الرياضي إلى استنتاج الحلول الراضية بناء على أسئلة الرياضيات المعينة. أثبتت أبحاث معالجة اللغة الطبيعية السابقة فعالية التسلسل إلى التسلسل (SEQ2SEQ) أو المتغيرات ذات الصلة على حل الرياضيات. ومع ذلك، تمكن عدد قليل من الأعمال من استكشاف المع لومات الهيكلية أو النحوية المخفية في التعبيرات (على سبيل المثال، الأسبقية والزملاء). وضعت هذه الرسالة للتحقيق في فائدة مثل هذه المعلومات غير المستغلة للهندسة العصبية. أولا، يتم تمثيل الأسئلة الرياضية بتنسيق الرسوم البيانية داخل تحليل بناء الجملة. تتيح لهم الطبيعة المنظمة للرسوم البيانية أن تمثل علاقات المتغيرات أو المشغلين مع الحفاظ على دلالات التعبيرات. بعد أن تحولت إلى التمثيلات الجديدة، اقترحنا Graphmr الشبكة العصبية الرسمية الرسمية، والتي يمكن أن تتعلم بفعالية المعلومات الهرمية من مدخلات الرسوم البيانية لحل الرياضيات وتوقع الإجابات. يتم بناء سيناريو تجريبي كامل مع أربع فئات من المهام الرياضية وثلاثة خطوط خطوط خطوط خطوط SEQ2SEQ لإجراء تحليل شامل، وتظهر النتائج أن Graphmr تفوقت على الآخرين في التعلم والمعلومات المخفية والحل الرياضيات.
تقدم هذه الورقة أول دراسة حول استخدام نماذج اللغة المدربة مسبقا على نطاق واسع للجيل الآلي من الرسم البياني الصخم على مستوى الحدث للحصول على مستند. على الرغم من النجاح الهائل لأساليب ما قبل التدريب العصبي في مهام NLP، لم يتم استكشاف إمكاناتها للمنطق ا لزمني على الرسوم البيانية في الأحداث بما فيه الكفاية. جزء من السبب هو صعوبة في الحصول على شركة تدريبية كبيرة مع أحداث مشروح بين الإنسان والروابط الزمنية. نحن نتطلع إلى هذا التحدي باستخدام أدوات IE / NLP الحالية لتوليد كمية كبيرة تلقائيا (89،000) من أزواج المستند المستندات المنتجة للنظام، واقتراح صياغة رواية لمشكلة جيل الرسم البياني للسياق كقوة تعيين تسلسل إلى تسلسل. تمكننا هذه الاستراتيجيات من الاستفادة من النماذج اللغوية التي تم تدريبها مسبقا على بيانات التدريب التي يسببها النظام المهمة لتوليد الرسم البياني. تظهر تجاربنا أن نهجنا فعال للغاية في توليد رسوم بيانية صحيحة هيكليا وذات رأسيا. علاوة على ذلك، يوضح التقييم على Corpus تحديا يدويا عن طريق اليد، أن أسلوبنا تتفوق على أقرب طريقة موجودة من خلال هامش كبير على عدة مقاييس. نعرض أيضا تطبيقا نهرما لنهجنا من خلال تكييفه للإجابة على الأسئلة الزمنية المفتوحة في إعداد فهم القراءة.
تصنيف النص القصير هو مهمة أساسية في معالجة اللغة الطبيعية.من الصعب بسبب عدم وجود معلومات السياق والبيانات المسمى في الممارسة العملية.في هذه الورقة، نقترح طريقة جديدة تسمى SHINE، والتي تعتمد على الشبكة العصبية الرسم البيانية (GNN)، لتصنيف النص القصير. أولا، نقوم بنمذت مجموعة بيانات النص القصيرة كشركة بيانية غير متجانسة هرمية تتكون من رسومات مكونة على مستوى Word والتي تقدم معلومات أكثر دلالة ونقصية.بعد ذلك، نتعلم ديناميكيا رسم بياني مستند قصير يسهل نشر الملصقات الفعالة بين النصوص القصيرة المشابهات.وبالتالي، فإن المقارنة مع الأساليب القائمة على GNN القائمة، والتألق يمكن أن يستغل أفضل التفاعلات بين العقد من نفس الأنواع والقبض على أوجه التشابه بين النصوص القصيرة.تظهر تجارب واسعة النطاق على مختلف مجموعات البيانات القصيرة القصيرة المعجمية أن التألق يتفوق باستمرار على الأساليب الحديثة، خاصة مع عدد أقل من الملصقات.
يحقق إطار التشفير - فك التشفير النتائج الحديثة النتائج في مهام توليد المفاتيح (KG) من خلال التنبؤ بكل من الرافعات القصيرة الحالية التي تظهر في المستند المصدر والمشابط الغياب التي لا تفعل ذلك. ومع ذلك، فإن الاعتماد فقط على المستند المصدر يمكن أن يؤدي إلى توليد قواعد الرماية الغائب لا يمكن السيطرة عليها وغير دقيقة. لمعالجة هذه المشكلات، نقترح طريقة رواية قائمة على الرسم البياني يمكنها التقاط المعرفة الصريحة من المراجع ذات الصلة. يتمتع نموذجنا أولا بتستريح بعض أزواج المفاتيح المستندات التي تشبه المستند المصدر من مؤشر محدد مسبقا كمراجع. ثم يتم بناء رسم بياني غير متجانس لالتقاط العلاقات مع مستويات مختلفة من الحبيبية المستند المصدر والمراجع المستردة لها. لتوجيه عملية فك التشفير، يتم تقديم اهتمام هرمي وآلية النسخ، والتي تنسخ مباشرة الكلمات المناسبة من كل من المستند المصدر ومراجعها بناء على أهميتها وأهميتها. تظهر النتائج التجريبية على معايير KG متعددة أن النموذج المقترح يحقق تحسينات كبيرة ضد نماذج خط الأساس الأخرى، خاصة فيما يتعلق بالتنبؤ الغياب بالصيغة الهادفة.
يعمل العمل الحديث على تصنيف المعنويات على مستوى جانب الجساب شبكات اتصالا بيانيا (GCN) على أشجار التبعية لتعلم التفاعلات بين شروط الارتفاع وكلمات الرأي. في بعض الحالات، لا يمكن الوصول إلى كلمات الرأي المقابلة لمصطلح الجانب داخل القفزتين على أشجار التب عية، والتي تتطلب المزيد من طبقات GCN إلى النموذج. ومع ذلك، غالبا ما تحقق GCNS أفضل أداء بطبقتين، ولا تحقق GCNs أعمق أي مكسب إضافي. لذلك، نقوم بتصميم نماذج GCN الانتباه الانتقائية الجديدة. من ناحية، يتيح النموذج المقترح التفاعل المباشر بين شروط الجانب وكلمات السياق عن طريق عملية الانتباه الذاتي دون تحديد المسافة على أشجار التبعية. من ناحية أخرى، تم تصميم إجراء اختيار Top-K لتحديد كلمات الرأي عن طريق تحديد كلمات سياق K مع أعلى درجات الاهتمام. نقوم بإجراء تجارب على عدة مجموعات بيانات معيار شائعة الاستخدام وتظهرت النتائج أن SA-GL-GCN المقترح تفوق نماذج أساسية قوية.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا