تهدف تلخيص الكود إلى توليد أوصاف لغة طبيعية موجزة من التعليمات البرمجية المصدرية، والتي يمكن أن تساعد في تحسين فهم البرنامج والصيانة. تظهر الدراسات الحديثة أن المعلومات الأساسية والهيكلية المستخرجة من أشجار بناء الجملة التجريدية (ASTS) مواتية لتوليد
الموجز. ومع ذلك، فإن النهج الحالية تفشل في التقاط المعلومات الغنية بالكامل في ASTS بسبب الحجم / العمق الكبير من ASTS. في هذه الورقة، نقترح نموذج رواية يلقي أن ينشق التسلسل هرمي وإعادة بناء ASTS. أولا، نحن تقسيم هرميا كبيرا إلى مجموعة كبيرة في مجموعة من السكتة الدماغيين واستخدام شبكة عصبية متكررة لتشفير الفرعية. ثم، نكمل تجميع شركات السكتة الدماغية من خلال إعادة بناء النقص الانقسام للحصول على تمثيل AST الكامل. أخيرا، يتم استخدام تمثيل AST، جنبا إلى جنب مع تضمين شفرة المصدر الذي حصل عليه تشفير رمز الكود الفانيليا، لتلخيص التعليمات البرمجية. أظهرت تجارب واسعة، بما في ذلك دراسة الاجتثاث والتقييم البشري، على المعايير قوة المدلى بها. لتسهيل الاستيلاء، تتوفر الكود والبيانات لدينا في https://github.com/deepsoftwareanalytics/ast.
تمثيل المعنى التجريدي (AMR) هو لغة تمثيل معنى رسومي مصممة لتمثيل معلومات الاقتراح حول هيكل الوسيطة. ومع ذلك، فإنه غير قادر في الوقت الحاضر على تمثيل السياقات غير التابعة غير التابعة بشكل مرضي، وغالبا ما ترخيص الاستدلالات غير اللائقة. في هذه الورقة، ن
ظهر كيفية حل مشكلة عدم اليريدية دون جاذبية الرسوم البيانية الطبقات من خلال رسم خرائط من AMRS في حساب التفاضل والتكامل Lambda المكتوبة ببساطة (STLC). على الأقل بالنسبة لبعض الحالات، يتطلب ذلك إدخال دور جديد: المحتوى الذي يعمل كمشغل متباين. الترجمة المقترحة مستوحاة من أدب اللغويات الرسمية في دلالات الأحداث في تقارير الموقف. بعد ذلك، نتعلم تفاعل نطاق الكمي والمشغلين المتهمين في غمائم دي / دي ديكتو المزعومة. نعتمد عقدة النطاق من الأدب وتوفير دلالات صريحة متعددة الأبعاد تستخدم تخزين كوبر يتيح لنا أن تستمد قراءات DE RE و De De Di Dicto بالإضافة إلى قراءات نطاق الوسيط والتي تثبت صعوبة في الحسابات دون عقدة نطاق.
تقدم هذه الورقة المهمة المشتركة Semeval-2021 4: قراءة الفهم من معنى مجردة (Recam). تم تصميم هذه المهمة المشتركة للمساعدة في تقييم قدرة الآلات في تمثيل وفهم مفهوم مجردة. يتعين على النظام المقابل، من المتوقع أن يختار نظام المشاركة، الإجابة الصحيحة من خ
مسة مرشحين من المفاهيم المجردة في الفهم مهام. بناء على اثنين من التعريفات النموذجية للمخراج، أي غير محسنة وغير محددة، توفر مهمتنا ثلاثة مجموعات فرعية لتقييم قدرة النماذج في فهم النوعين من المعنى التجريدي وتعميم النماذج. على وجه التحديد، يهدف فرقة فرعية 1 إلى تقييم مفاهيم نماذج النظام المشاركة التي لا يمكن أن ينظر إليها مباشرة في العالم المادي. يركز SubTask 2 على قدرة النماذج في فهم مفاهيم غير محددة تقع عالية في التسلسل الهرمي Hypernym نظرا لسياق مرور. يهدف SubTask 3 إلى توفير بعض الأفكار حول تعميم النماذج على النوعين من الممرضين. خلال فترة التقييم الرسمية SEMEVAL-2021، تلقينا 23 تقريرا إلى الفرعية 1 و 28 إلى الفريق الفرعي 2. قدمت الفرق المشاركة بالإضافة إلى ذلك 29 تقريرا إلى الفرع الفرعي 3. يمكن العثور على موقع المتصدرين ومواقع المنافسة في HTTPS: //competitions.codalab. ORG / المسابقات / 26153. تتوفر بيانات البيانات وخطوط الأساس في https://github.com/boyuanzheng010/semeval2021-Reading-comprehension-of-Abstract-meaning.
تصف هذه الورقة نظامنا للمهمة 4 من Semeval-2021: قراءة الفهم من معنى مجردة (Recam).شاركنا في جميع المهام الفرعية حيث كان الهدف الرئيسي هو التنبؤ بكلمة مجردة مفقودة من بيان.نحن نضرب نماذج اللغة الملثمين المدربة مسبقا وهي بيرت وألبرت واستخدمت فرقة لهؤلا
ء كأنها نظامنا المقدمة على المراكز الفرعية 1 (إعادة التقييم - عقيدة) و Subtask 2 (إعادة التقييد - غير المعقدة).بالنسبة إلى Subtask 3 (تقاطع إعادة التقييد)، أرسلنا نموذج ألبرت لأنه يعطي أفضل النتائج.حاولنا نهج متعددة وجدنا أن النهج القائم على نمذجة اللغة الملثم (MLM) يعمل الأفضل.
AMR (تمثيل المعنى التجريدي) و EDS (هياكل التبعية الابتدائية) هي تمثيلين لمعنى شعبيتين في NLP / NLU.AMR أكثر مجردة ومفاهيمية، في حين أن EDS هو أعلى مستوى منخفض، أقرب إلى الهياكل المعجمية للجمل المحددة.وبالتالي ليس من المستغرب أن تحليل EDS أسهل من تحلي
ل عمرو.في هذا العمل، نفكر في استخدام معلومات من تحليل EDS للمساعدة في تحسين أداء تحليل عمرو.نعتمد محلل محلل ومقره انتقالي ويقترح بإضافة الرسوم البيانية EDS كيزات دلالة إضافية باستخدام تشفير رسم بياني يتكون من LSTM LETER وطبقة GCN.تبين نتائجنا التجريبية أن المعلومات الإضافية من تحليل EDS يعطي بالفعل دفعة إلى أداء محلل عمرو الأساسي المستخدمة في تجاربنا.
في تحليل التمثيل المعني المتبادل التجريدي (AMR)، يقوم الباحثون بتطوير النماذج التي تمارس طرزها من لغات مختلفة على الأمراض الأمريكية لالتقاط هياكلها الدلالية الأساسية: بالنظر إلى عقوبة بأي لغة، نهدف إلى التقاط المحتوى الدلالي الأساسي من خلال المفاهيم
المتصلةأنواع متعددة من العلاقات الدلالية.الأساليب عادة ما تصل إلى بيانات التدريب الفضي الكبيرة لتعلم نموذج واحد قادر على مشروع الجمل غير الإنجليزية إلى AMRS.ومع ذلك، نجد أن خط الأساس البسيط يميل إلى التغاضي عنه: ترجمة الجمل إلى الإنجليزية وتستعرض AMR الخاص بهم مع محلل عمرو أحادي (ترجمة + تحليل، T + P).في هذه الورقة، نؤيد هذا الخط الأساسي البسيط من خطوتين، وتعزيزه بنظام NMT قوي ومحلل عمرو قوي.تظهر تجاربنا أن T + P يتفوق على نظام أحدث حديثة في جميع اللغات التي تم اختبارها: الألمانية والإيطالية والإسبانية وماندرين مع +14.6 و +12.6 و +14.3 ونقاط Smatch
قدمت نماذج تسلسل إلى تسلسل نتائج رائعة في مهام تكوين الكلمات مثل الانعطاف المورفولوجي، وغالبا ما تعلم نموذج التفاصيل المورفهولوجية الدقيقة مع بيانات تدريب محدودة. على الرغم من الأداء، فإن عتامة النماذج العصبية تجعل من الصعب تحديد ما إذا كانت التعميما
ت المعقدة تعلمت، أو ما إذا كان هناك نوع من تحفيظ منفصل عن ظهر قلب كل عملية مورفوفونية يحدث. للتحقيق في ما إذا كانت بدائل معقدة تم حفظها ببساطة أو ما إذا كان هناك مستوى من التعميم عبر التغييرات الصوتية ذات الصلة في نموذج تسلسل إلى تسلسل، فإننا نقوم بإجراء العديد من التجارب على التدرج السيكوني الفنلندي --- مجموعة معقدة من التغييرات الصوتية التي تنطلق في بعض الكلمات من خلال بعض اللواحق. نجد أن نماذجنا في كثير من الأحيان --- على الرغم من أنها ليست دائما --- تشفير 17 عملية مختلفة التدرج الساكن في حفنة من الأبعاد في RNN. نظهر أيضا أنه من خلال تحجيم التنشيط في هذه الأبعاد، يمكننا السيطرة على ما إذا كان التدرج السيكوني يحدث واتجاه التدريج.
حققت النماذج المستندة إلى المحولات المسببة للمحرسة مسبقا أداء حديثة لمختلف مهام معالجة اللغة الطبيعية (NLP).ومع ذلك، غالبا ما تكون هذه النماذج مليارات مليارات من المعلمات، وبالتالي فهي جائعة جدا للجوع وحسابات كثيفة لتناسب أجهزة أو تطبيقات منخفضة القد
رة مع متطلبات زمنية صارمة.علاج واحد محتمل لهذا هو الضغط النموذجي، مما جذبت اهتماما كبيرا للبحث.هنا، نلخص البحث في ضغط المحولات، مع التركيز على نموذج بيرت الشهير بشكل خاص.على وجه الخصوص، نقوم بمسح حالة الفن في ضغط بيرت، نوضح أفضل الممارسات الحالية لضغط نماذج محولات واسعة النطاق، ونحن نقدم رؤى في أعمال أساليب مختلفة.يتم إلقاء تصنيفنا وتحليلنا الضوء على اتجاهات البحث المستقبلية الواعدة لتحقيق نماذج NLP خفيفة الوزن ودقيقة وأجنحة.
التلخصات القائمة على الجانب المجردة هي مهمة توليد ملخصات مركزة تستند إلى نقاط اهتمام محددة. هذه الملخصات تساعد تحليل فعال للنص، مثل فهم الاستعراضات أو الآراء بسرعة من زوايا مختلفة. ومع ذلك، نظرا للاختلافات الكبيرة في نوع الجوانب لمجالات مختلفة (مثل ا
لمشاعر، ميزات المنتج)، تميل تطوير النماذج السابقة إلى أن تكون خاصة بالمجال. في هذه الورقة، نقترح WikiAsp، 1 مجموعة بيانات واسعة النطاق لتلخيص القائم على الجانب متعدد المجالات التي تحاول تحفيز البحث في اتجاه التلخيص المستند إلى جانب النطاق. على وجه التحديد، نبني DataSet باستخدام مقالات Wikipedia من 20 مجالات مختلفة، باستخدام عناوين القسم وحدود كل مقال كوكيل للتعليق على الجانب. نقترح العديد من النماذج الأساسية المباشرة لهذه المهمة وإجراء تجارب على مجموعة البيانات. تسليط الضوء على النتائج التحديات الرئيسية التي تواجهها نماذج التلخيص الموجودة في هذا الإعداد، مثل التعامل مع الضمير المناسب للمصادر المعروضة والشرح المستمر للأحداث الحساسة للوقت.
يجسد جيل الحمدة التجريدي بعض التحديات الأكثر صعوبة في توليد الشعر، حيث يجب أن تخبر القصائد قصة في خمسة أسطر فقط، مع قيود على قافية وإجهاد وما متر.لمعالجة هذه التحديات، نقدم Limgen، وهو نظام رواية وأتمتة بالكامل لتوليد Limerick الذي يتفوق على نماذج ال
شعر العصبية القائمة على الإنترنت، وكذلك نماذج الشعر المستندة إلى القواعد المستندة إلى القواعد.يتكون Limgen من ثلاثة قطع مهمة: خوارزمية القيود متعددة القوالب التكيفية التي تقيد بحثنا إلى مساحة قصائد واقعية، خوارزمية البحث عن شعاع متعددة القيم والتي تبحث بكفاءة من خلال الفضاء، وخوارزمية قصة الاحتمالية التي توفر قصصا متماسكة ذات صلةكلمة سريعة قدم المستخدم.ليميريكس الناتجة تلبي القيود الشعرية ولديها قصاصات متماسكة بشكل موضوعي، والتي هي في بعض الأحيان مضحك (عندما نحن محظوظون).
