أظهرت نماذج Graph Graph الحديثة (KGE) على أساس الهندسة الزئوية إمكانات كبيرة في مساحة تضمين منخفضة الأبعاد. ومع ذلك، لا تزال ضرورة الفضاء القطعي في كوريا العليا مشكوك فيها، لأن الحساب الذي يعتمد على الهندسة الزئوية أكثر تعقيدا بكثير من عمليات Euclide
an. في هذه الورقة، استنادا إلى مجموعة من طراز Hyperbolic Typerbolic، نطور اثنين من النماذج المستندة إلى Euclidean خفيفة الوزن، تسمى Rotl و Rot2L. يسبق نموذج ROTL العمليات القطعي مع الحفاظ على تأثير التطبيع المرن. الاستفادة من تحول مكدسة طبقة رواية واستنادا إلى ROTL، يحصل نموذج Rot2L على إمكانية تحسين تمثيل، ومع ذلك يكلف عددا أقل من المعلمات والحسابات من روث. تظهر التجارب على تنبؤ الارتباط أن ROT2L يحصل على الأداء الحديثة على مجموعة من مجموعات البيانات المستخدمة على نطاق واسع في مدمج الرسم البياني المعرفي منخفض الأبعاد. علاوة على ذلك، يحقق Rotl أداء مماثل ك Roth ولكن يتطلب فقط نصف وقت التدريب.
قدم النيكل و Kiela (2017) طريقة جديدة لتضمين عقد الأشجار في كرة الخشب، وتشير إلى أن هذه المدينات القطعي هي أكثر فعالية بكثير من Auclidean Admings في الرسوم البيانية الكبيرة الهيكلية بشكل كبير، مثل WordNet Nouns Trees Hypernymy Tree.هذا صحيح بشكل خاص
في الأبعاد المنخفضة (النيكل وجيلا، 2017، الجدول 1).في هذا العمل، نسعى لإعادة إنتاج تجاربهم على تضمين وإعادة بناء الرسوم البيانية Hypernymy Nouns.عداد إلى ما تقاريره، نجد أن Auclidean Abbeddings قادرة على تمثيل هذه الشجرة على الأقل بالإضافة إلى تضمين المخيفات، عندما سمحت ب 50 أبعاد على الأقل.نلاحظ أن هذا لا يقلل من أهمية عملهم بالنظر إلى الأداء المثير للإعجاب من التضامن القطعي في إعدادات منخفضة الأبعاد للغاية.ومع ذلك، بالنظر إلى التأثير الواسع لعملهم، فإن هدفنا هنا هو تقديم مقارنة محدثة وأكثر دقة بين Euclidean و SuperBolic Elegbeddings.
يسمح دفتر Jupyter لعلماء البيانات كتابة رمز تعلم الآلة مع وثائقها في الخلايا.في هذه الورقة، نقترح مهمة جديدة من توليد وثائق التعليمات البرمجية (CDG) لأجهزة الكمبيوتر المحمولة الحسابية.على النقيض من مهام CDG السابقة التي تركز على توليد وثائق لفظات شفر
ة واحدة، في دفتر ملاحظات حسابي، غالبا ما يتوافق وثائق في خلية في خلية تخطيطية مع خلايا التعليمات البرمجية المتعددة، ولديها خلايا التعليمات البرمجية هذه هيكل متأصل.اقترحنا نموذجا جديدا (Haconvgnn) الذي يستخدم آلية اهتمام هرمي للنظر في خلايا التعليمات البرمجية ذات الصلة ومعلومات الرموز التعليمية ذات الصلة عند إنشاء الوثائق.تم اختباره على كوربوس جديد تم إنشاؤه من أجهزة كمبيوتر دفاتر Kaggle موثقة جيدا، نظرا لأن نموذجنا يفوق النماذج الأساسية الأخرى.
تهدف استخراج العلاقات القائم على الحوار (إعادة) إلى استخراج العلاقة بين الحججتين التي تظهر في حوار. نظرا لأن الحوارات لديها خصائص حوادث الضمير الشخصية العالية وكثافة المعلومات المنخفضة، وبما أن معظم الحقائق العلائقية في الحوارات لا تدعمها أي جملة واح
دة، فإن استخراج العلاقات القائمة على الحوار يتطلب فهم شامل للحوار. في هذه الورقة، نقترح Network Network Commany Commany Computal Network (Tucore-GCN) على غرار الاهتمام بالطريقة التي يفهم بها الناس الحوارات. بالإضافة إلى ذلك، نقترح نهج رواية يعامل مهمة الاعتراف بالمحادثات في المحادثات (ERC) كإعادة حوار قائما. تثبت التجارب في DataSet مقصورة الحوار وثلاث مجموعات بيانات ERC أن طرازنا فعال للغاية في مهام فهم اللغة الطبيعية القائمة على الحوار. في هذه التجارب، تتفوق Tucore-GCN على النماذج الحديثة على معظم مجموعات البيانات القياسية. يتوفر الكود الخاص بنا في https://github.com/blacknoodle/tucore-gcn.
الحوار المرئي هو مهمة الإجابة على سلسلة من الأسئلة التي تأسست في صورة باستخدام سجل الحوار السابق كسياق. في هذه الورقة، ندرس كيفية معالجة تحديين أساسيين لهذه المهمة: (1) التفكير في الهياكل الدلالية الأساسية بين جولات الحوار و (2) تحديد العديد من الإجا
بات المناسبة على السؤال المحدد. لمعالجة هذه التحديات، نقترح طريقة لتعليم الرسومات Sparse (SGL) لصياغة مربع حوار مرئي كهزم تعلم هيكل الرسم البياني. ينتشر SGL هياكل الحوار متناثرة بطبيعته من خلال دمج حواف ثنائية وتسهيل وظيفة فقدان هيكلية جديدة. بعد ذلك، نقدم طريقة نقل المعرفة (KT) التي تستخرج تنبؤات الإجابة من نموذج المعلم وتستخدمها باسم ملصقات زائفة. نقترح KT لعلاج أوجه القصور في ملصقات فردية واحدة للحقيقة، والتي تحد بشدة من قدرة نموذج للحصول على إجابات معقولة متعددة. نتيجة لذلك، يحسن نموذجنا المقترح بشكل كبير القدرة على التفكير مقارنة بطرق خط الأساس وتتفوق من الأساليب الحديثة على مجموعة بيانات V1.0 Versdial. يتوفر شفرة المصدر في https://github.com/gicheonkang/sglkt-visdial.
هدف التنبؤ بالحقائق في الحدث (EFP) هو تحديد درجة الواقعية لذكر الحدث، مما يمثل مدى احتمال ذكر الحدث في النص.أظهرت نماذج التعلم العميق الحالية أهمية الهياكل النحوية واللاللالية للجمل لتحديد كلمات السياق الهامة ل EFP.ومع ذلك، فإن المشكلة الرئيسية في نم
اذج EFP هذه هي أنها تشفص مسارات القفزة الواحدة فقط بين الكلمات (I.E.، والاتصالات المباشرة) لتشكيل هياكل الجملة.في هذا العمل، نظهر أن مسارات القفزات متعددة القفزة بين الكلمات ضرورية أيضا لحساب هياكل الجملة ل EFP.تحقيقا لهذه الغاية، نقدم نموذجا للتعليم العميق الجديد ل EFP الذي يعتبر صراحة مسارات القفزات متعددة القفزات مع كل من الحواف القائمة على بناء الجملة والدلية بين الكلمات للحصول على هياكل الجملة للتعلم في EFP.نوضح فعالية النموذج المقترح عبر التجارب الواسعة في هذا العمل.
إن غرس المعرفة الواقعية في النماذج المدربة مسبقا أمر أساسي للعديد من المهام المكثفة المعرفة.في هذه الورقة، اقترحنا مزيج الأقسام (MOP)، نهج التسريب يمكنه التعامل مع الرسم البياني المعرفي كبير جدا (KG) من خلال تقسيمه إلى الرسوم البيانية الفرعية الأصغر
وفسر معرفتهم المحددة في نماذج بخير مختلفة باستخدام محولات خفيفة الوزن.للاستفادة من المعرفة الواقعية الشاملة للمهمة المستهدفة، فإن محولات هذه الرسوم البيانية الفرعية يتم ضبطها بشكل جيد بالإضافة إلى التقدم الأساسي من خلال طبقة خليط.نقوم بتقييم ممسحنا بثلاثة بريرز الطبية الحيوية (Scibert، BioBert، Pubmedbert) على ستة مهام (Inc. NLI، QA، التصنيف)، وإظهار النتائج أن ممسحنا يعزز باستمرار القصصات الأساسية في أداء المهام، وتحقق عروض سوتا الجديدةفي خمس مجموعات بيانات تقييمها.
تهدف استخراج الزوج للحجة (القرد) إلى استخراج أزواج الحجة التفاعلية من ممرتين من المناقشة. درس العمل السابق هذه المهمة في سياق مراجعة الأقران و Rebuttal، وتحللها في مهمة وضع علامة تسلسل ومهمة تصنيف علاقات الجملة. ومع ذلك، على الرغم من الأداء الواعد، ف
إن هذا النهج يحصل على أزواج الحجة ضمنيا من قبل المهامتين المتحلين، يفتقر إلى نمذجة صراحة لتفاعلات مستوى الوسيطة بين أزواج الحجة. في هذه الورقة، نقوم بمعالجة مهمة القرد من خلال إطار توجيه متبادل، والتي يمكن أن تستخدم معلومات حجة في مقطع واحد لتوجيه تحديد الحجج التي يمكن أن تشكل أزواج معها في مقطع آخر. وبهذه الطريقة، يمكن لمركزين توجه بعضهما البعض بشكل متبادل في عملية القرد. علاوة على ذلك، نقترح رسم بياني علاقة بين الجملة إلى النموذج بشكل فعال العلاقات بين الجملتين وبالتالي يسهل استخراج أزواج الحجة. يمكن أن تمثل طريقةنا المقترحة بشكل أفضل دلالات المستوى الكلي على مستوى الوسيطة، وبالتالي التقاط صراحة الارتباطات المعقدة بين أزواج الحجة. تظهر النتائج التجريبية أن نهجنا تتفوق بشكل كبير على النموذج الحالي للحالة الحالية.
توفر التفاعلات بين الكيانات في الرسم البياني للمعرفة (KG) معرفة غنية لتعلم تمثيل اللغة. ومع ذلك، تركز نماذج اللغة المحددة على المعرفة المعزوفة المعرفة الحالية (PLMS) فقط على معلومات الكيان وتجاهل العلاقات الجميلة بين الكيانات. في هذا العمل، نقترح دمج
كجم (بما في ذلك كلا من الكيانات والعلاقات) في عملية التعلم اللغوي للحصول على نموذج اللغة المحسنة KG، وهي KLMO. على وجه التحديد، تم تصميم مجمع المعرفة الرواية للنموذج صراحة التفاعل بين الكيان يمتد في النص وجميع الكيانات والعلاقات في كجم سياقي. يتم استخدام هدف تنبؤ العلاقة لدمج معلومات العلاقة من خلال الإشراف البعيد. يتم استخدام هدف ربط الكيان بشكل أكبر لربط كيان يمتد في نص إلى كيانات في كجم. وبهذه الطريقة، يمكن دمج المعرفة المهيكلة بشكل فعال في تمثيلات اللغة. توضح النتائج التجريبية أن KLMO يحقق تحسينات كبيرة على العديد من المهام التي يحركها المعرفة، مثل تصنيف الكيانات وتصنيف العلاقة، مقارنة مع PLMs المعرفة المعززة للحكومة.
تستخدم مصطلح خطط الترجغ على نطاق واسع في معالجة اللغة الطبيعية واسترجاع المعلومات. على وجه الخصوص، فإن وزن المصطلح هو الأساس لاستخراج الكلمات الرئيسية. ومع ذلك، هناك عدد قليل نسبيا دراسات التقييم التي ألقت الضوء على نقاط القوة وأوجه القصور في كل مخطط
للتوازن. في الواقع، في معظم الحالات، يلجأ الباحثون والممارسون في معظم الحالات إلى TF-IDF المعروفة بشكل افتراضي، على الرغم من وجود بدائل أخرى مناسبة، بما في ذلك النماذج القائمة على الرسم البياني. في هذه الورقة، نقوم بإجراء مقارنة تجريبية وشاملة واسعة النطاق من كل من أساليب الترجيح الإحصائية والرصاص القائمة على الرسم البياني في سياق استخراج الكلمات الرئيسية. يكشف تحليلنا عن بعض النتائج المثيرة للاهتمام مثل مزايا الخصوصية المعروفة الأقل شهرة فيما يتعلق ب TF-IDF، أو الاختلافات النوعية بين الأساليب الإحصائية والرصاص القائمة على الرسم البياني. وأخيرا، بناء على نتائجنا نناقشها واستنباد بعض الاقتراحات للممارسين. تعد شفرة المصدر لإعادة إنتاج نتائجنا التجريبية، بما في ذلك مكتبة استخراج الكلمات الرئيسية، متوفرة في المستودع التالي: https://github.com/asahi417/kex
