ترغب بنشر مسار تعليمي؟ اضغط هنا

دمج بناء الجملة والدلالات في دقة Aquerence مع شبكة انتباه الرسوم البيانية غير المتوجهة

Incorporating Syntax and Semantics in Coreference Resolution with Heterogeneous Graph Attention Network

489   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

تم تجاهل المعلومات النحوية والدلية الخارجية إلى حد كبير من قبل نماذج حل النواة العصبية الحالية.في هذه الورقة، نقدم نموذجا مقرا له من الرسوم البيانية غير متجانسة لإدماج الهياكل النحوية والدلالية للجمل.يحتوي الرسم البياني المقترح على رسم بياني فرعي سنوي حيث يتم توصيل الرموز الرائعة بناء على شجرة التبعية، ورسم إلكتروني فرعي دلالي يحتوي على حجج ويستند كمستلزمات دورا دالايا كحواف.من خلال تطبيق شبكة انتباه الرسوم البيانية، يمكننا الحصول على تمثيل كلمة معدنية من الناحية النحوية وغير المعزز، والتي يمكن دمجها باستخدام طبقة تكامل اليقظة وآلية Gating.تجارب في OnTonotes 5.0 معيار المعيار إظهار فعالية نموذجنا المقترح.

المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

تركز أنظمة الكشف عن الساركاز الموجودة على استغلال العلامات اللغوية أو السياق أو البثور على مستوى المستخدم.ومع ذلك، تشير الدراسات الاجتماعية إلى أن العلاقة بين المؤلف والجمهور يمكن أن تكون ذات صلة بنفس القدر لاستخدام السخرية وتفسيرها.في هذا العمل، نقت رح إطارا بالاستفادة المشتركة (1) سياق مستخدم من تغريداتهم التاريخية مع (2) المعلومات الاجتماعية من الحي المحادثة للمستخدم في رسم بياني تفاعل، إلى السياق تفسير المنشور.نحن نستخدم شبكات انتباه الرسوم البيانية (GAT) عبر المستخدمين والتويت في مؤشر ترابط محادثة، جنبا إلى جنب مع تمثيلات سجل المستخدم الكثيفة.بصرف النظر عن تحقيق نتائج حديثة على مجموعة البيانات التي تم نشرها مؤخرا من مستخدمي Twitter الذي تم نشره مؤخرا مع تغريدات تسمية 30 ألفا، قم بإضافة تغريدات 10M Unabeled كسياق، تشير نتائجنا إلى أن النموذج يساهم في تفسير النوايا الساخرة للمؤلف أكثر منالتنبؤ بتصور السخرية من قبل الآخرين.
أظهرت التقدم المحرز الأخير في نماذج اللغة المستندة إلى المحولات الاحترام نجاحا كبيرا في تعلم التمثيل السياقي للنص.ومع ذلك، نظرا لتعقيد الاهتمام من الدرجة الثانية، يمكن لمعظم نماذج المحولات مسبقا التعامل مع النص القصير نسبيا.لا يزال يمثل تحديا عندما ي تعلق الأمر بنمذة مستندات طويلة جدا.في هذا العمل، نقترح استخدام شبكة انتباه الرسوم البيانية أعلى نموذج المحولات مسبقا متوفرة لتعلم تضمين الوثائق.تتيح لنا شبكة انتباه الرسم البياني هذه الاستفادة من الهيكل الدلالي الرفيع المستوى للوثيقة.بالإضافة إلى ذلك، استنادا إلى نموذج وثيقة الرسم البياني لدينا، نقوم بتصميم استراتيجية تعليمية بسيطة بسيطة للتعبير عن نماذجنا بمقدار كبير من الكائنات الكبيرة.تجريبيا، نوضح فعالية نهجنا في تصنيف الوثائق ومهام استرجاع المستندات.
في الآونة الأخيرة، تقدم DEVENTANGLEMEMEMENEM بناء على شبكة خدرية توليدية أو AutoNCoder التباين بشكل كبير أداء التطبيقات المتنوعة في مجالات السيرة الذاتية و NLP.ومع ذلك، لا تزال هذه النماذج تعمل على مستويات خشنة في تحسين الخصائص ذات الصلة ارتباطا وثيق ا، مثل بناء الجملة والدلالات باللغات البشرية.تقدم هذه الورقة نموذجا متحللا عميقا يستند إلى بناء جملة VAE ل DisentAnge و DeMantics باستخدام عقوبات الارتباط الكلية على اختلافات KL.والجدير بالذكر أننا نتحلل مدة الاختلاف KL من VAE الأصلي بحيث يمكن فصل المتغيرات الكامنة التي تم إنشاؤها بطريقة أكثر وضوحا وتفسيرا.تبين التجارب على مجموعات البيانات القياسية أن نموذجنا المقترح يمكن أن يحسن بشكل كبير من جودة الإعانات بين التمثيلات النحوية والدلية لمهام التشابه الدلالي ومهام التشابه النحوية.
يتم جذب تصنيف المستندات متعددة الملصقات، وربط مثيل مستندات واحدة بمجموعة من الملصقات ذات الصلة، المزيد والمزيد من اهتمام البحوث. استكشاف الأساليب الحالية دمج المعلومات وراء النص، مثل بيانات تعريف الوثيقة أو هيكل الملصقات. ومع ذلك، فإن هذه الأساليب إم ا ببساطة الاستفادة من المعلومات الدلالية من البيانات الوصفية أو توظيف التسلسل الهرمي لملصق الوالدين والطفل المحدد مسبقا، وتجاهل الهياكل الرسومية غير المتجانسة للبيانات الوصفية والملصقات، والتي نعتقد أنها حاسمة لتصنيف مستندات دقيقة متعددة الملصقات. لذلك، في هذه الورقة، نقترح نهجا جديدا في الشبكة العصبية لتصنيف المستندات متعددة الملصقات، حيث يتم بناء الرسوم البيانية غير المتجانسة والتعلم باستخدام محولات الرسم البياني غير المتجانس. أحدهما هو الرسم البياني غير المتجانس في البيانات الأولية، والتي نماذج أنواع مختلفة من البيانات الوصفية وعلاقاتها الطوبولوجية. الآخر هو الرسم البياني الملصق غير المتجانس، الذي تم إنشاؤه بناء على كل من التسلسل الهرمي للملصقات والتمثيل الإحصائي. النتائج التجريبية على مجموعة من مجموعات البيانات القياسية تظهر النهج المقترح تفوق العديد من خطوط الأساس الحديثة.
يحقق إطار التشفير - فك التشفير النتائج الحديثة النتائج في مهام توليد المفاتيح (KG) من خلال التنبؤ بكل من الرافعات القصيرة الحالية التي تظهر في المستند المصدر والمشابط الغياب التي لا تفعل ذلك. ومع ذلك، فإن الاعتماد فقط على المستند المصدر يمكن أن يؤدي إلى توليد قواعد الرماية الغائب لا يمكن السيطرة عليها وغير دقيقة. لمعالجة هذه المشكلات، نقترح طريقة رواية قائمة على الرسم البياني يمكنها التقاط المعرفة الصريحة من المراجع ذات الصلة. يتمتع نموذجنا أولا بتستريح بعض أزواج المفاتيح المستندات التي تشبه المستند المصدر من مؤشر محدد مسبقا كمراجع. ثم يتم بناء رسم بياني غير متجانس لالتقاط العلاقات مع مستويات مختلفة من الحبيبية المستند المصدر والمراجع المستردة لها. لتوجيه عملية فك التشفير، يتم تقديم اهتمام هرمي وآلية النسخ، والتي تنسخ مباشرة الكلمات المناسبة من كل من المستند المصدر ومراجعها بناء على أهميتها وأهميتها. تظهر النتائج التجريبية على معايير KG متعددة أن النموذج المقترح يحقق تحسينات كبيرة ضد نماذج خط الأساس الأخرى، خاصة فيما يتعلق بالتنبؤ الغياب بالصيغة الهادفة.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا