ترغب بنشر مسار تعليمي؟ اضغط هنا

QA-GNN: التفكير مع نماذج اللغة ورسم الرسوم البيانية المعرفة للحصول على السؤال الرد

QA-GNN: Reasoning with Language Models and Knowledge Graphs for Question Answering

409   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

تعرض مشكلة الإجابة على الأسئلة التي تستخدم المعرفة من طرازات اللغة المدربة مسبقا (LMS) ورسم الرسوم البيانية المعرفة (KGS) تحديين: بالنظر إلى سياق ضمان الجودة (اختيار الأسئلة والأجوبة)، فإن الأساليب تحتاج إلى (I) تحديد المعرفة ذات الصلة من KGS الكبيرة،و (2) أداء التفكير المشترك في سياق ضمان الجودة و KG.هنا نقترح نموذجا جديدا، QA-GNN، الذي يتناول التحديات المذكورة أعلاه من خلال ابتكارات رئيسيتين: (ط) تسجيل الملاءمة، حيث نستخدم LMS لتقدير أهمية عقد KG بالنسبة إلى سياق ضمان الجودة المحدد، و (2) مشتركالتفكير، حيث نتواصل مع سياق ضمان الجودة و KG لتشكيل رسم بياني مشترك، وتحديث خصائصها المتبادلة من خلال رسالة الرسوم البيانية القائمة على الرسم البياني.نقوم بتقييم QA-GNN على مجموعات بيانات Commonsenseenseqa و OpenBookqa، وإظهار تحسنها على نماذج LM و LM + KG الحالية، وكذلك قدرتها على أداء التفكير القابل للتفسير والمنظم، على سبيل المثال، المناولة الصحيحة في الأسئلة.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

نقدم مجموعة بيانات جديدة لإعادة كتابة الأسئلة في سياق المحادثة (QRECC)، والتي تحتوي على محادثات 14 ألف مع أزواج من الإجابات السؤال 80k.تتمثل المهمة في QRECC في العثور على إجابات على أسئلة المحادثة داخل مجموعة من صفحات الويب 10 أمتار (تقسيم إلى 54 متر ا مربعا).قد يتم توزيع إجابات على الأسئلة الموجودة في نفس المحادثة عبر العديد من صفحات الويب.توفر QRECC التعليقات التوضيحية التي تسمح لنا بتدريب وتقييم المهارات الفرعية الفردية من إعادة كتابة السؤال، واسترجاع المرور وفهم القراءة المطلوبة لمهمة الإجابة على مسألة المحادثة نهاية إلى نهاية.نبلغ عن فعالية نهج خط الأساس القوي الذي يجمع بين النموذج الحديثة لإعادة كتابة الأسئلة والنماذج التنافسية لقضاء ضمان الجودة المفتوحة.حددت نتائجنا أول خط أساسي ل DataSet QRECC مع F1 من 19.10، مقارنة بمضابط العلوي البشري 75.45، مما يدل على صعوبة الإعداد وغرفة كبيرة للتحسين.
أظهرت الأعمال التجريدية الأخيرة أن نماذج اللغة (LM) تلتقط أنواعا مختلفة من المعرفة فيما يتعلق بالحقائق أو الحس السليم. ومع ذلك، نظرا لأن أي نموذج مثالي، إلا أنهم لا يزالون يفشلون في تقديم إجابات مناسبة في العديد من الحالات. في هذه الورقة، نطرح السؤال ، كيف يمكننا أن نعرف متى تعرف نماذج اللغة، بثقة، الإجابة على استعلام معين؟ "نحن ندرس هذا السؤال من وجهة نظر المعايرة، وخاصية الاحتمالات المتوقعة للنموذج الاحتمالية في الواقع يجري ارتباطا جيدا مع احتمالات صحة. نحن ندرس ثلاث نماذج تولئة قوية --- T5، بارت، و GPT-2 --- ودراسة ما إذا كانت احتمالاتهم على مهام ضمان الجودة معا معايرة بشكل جيد، والعثور على الجواب لا أحد غير مؤكد نسبيا. ثم نقوم بعد ذلك بفحص الأساليب لمعايرة هذه النماذج لجعل ثقتهم عشرات ترتبط بتحسن مع احتمال صحة الصواب من خلال التعديل الدقيق أو التعديل أو تعديل المخرجات أو المدخلات المتوقعة. تجارب مجموعة متنوعة من مجموعات البيانات توضح فعالية أساليبنا. كما نقوم بإجراء تحليل لدراسة نقاط القوة والقيود المتمثلة في هذه الأساليب، وإلقاء الضوء على المزيد من التحسينات التي قد يتم إجراؤها في أساليب معايرة LMS. لقد أصدرنا التعليمات البرمجية في https://github.com/jzbjyb/lm-calibration.
الإجابة على الأسئلة الأساسية للمعرفة (KBQA) هي الإجابة على أسئلة اللغة الطبيعية المطروحة على قواعد المعرفة (KBS).هذه الأهداف الورقية في تمكين نماذج KBQA القائمة على IR مع قدرة المنطق العددي للإجابة على أسئلة مقيدة ترتيبية.التحدي الرئيسي هو عدم وجود ش روح واضحة حول الخصائص العددية.لمعالجة هذا التحدي، نقترح نموذجا للتفكير العددي الذي يتألف من Numgnn و Numtransformer، يسترشد بإشارات مراقبة ذاتية صريحة.يتم الاحترام من الوحداتتين لتشميز الحجم والخصائص الترتيبية للأرقام على التوالي ويمكن أن تكون بمثابة إضافات نموذجية للأذرع لأي نموذج KBQA المستندة إلى IR لتعزيز قدرة التفكير العددي.تجارب واسعة على معايير KBQA تحقق من فعالية طريقتنا لتعزيز قدرة التفكير العددي لنماذج KBQA القائمة على IR.
أحدثت النماذج المدربة (E2E) مؤخرا (E2E) لصالح الإجابة على الرسوم البيانية المعرفة (KGQA) نتائج واعدة تستخدم فقط مجموعة بيانات خاضعة للإشراف.ومع ذلك، يتم تدريب هذه النماذج وتقييمها في وضع يتم فيه توفير كيانات سؤال مشروح يدوية للنموذج، مما يترك المهمة المهمة وغير التافهة لقرار الكيان (ER) خارج نطاق تعلم E2E.في هذا العمل، نقوم بتوسيع حدود التعلم E2E ل KGQA لتضمين تدريب مكون ER.يحتاج النموذج الخاص بنا فقط إلى نص الأسئلة والكيانات الإجابة لتدريب، وتوفر نموذج ضمان الجودة المستقل لا يتطلب توفير مكون إضافي ER أثناء وقت التشغيل.نهجنا هو قابل له تماما، وذلك بفضل اعتماده على طريقة حديثة لبناء KGS الفائقة (كوهين وآخرون، 2020).نقوم بتقييم نموذج E2E المدربين على مجموعة بيانات عامين وإظهار أنه يقترب من النماذج الأساسية التي تستخدم الكيانات المشروح اليدوية.
إن التحدي الرئيسي في السؤال الرد على قواعد المعرفة (KBQA) هو التناقض بين أسئلة اللغة الطبيعية ومسارات المنطق في قاعدة المعرفة (KB). أساليب KBQA القائمة على الرسم البياني في الرسم البياني هي جيدة في استيعاب هيكل الطوبولوجي للرساه الرسم ولكن غالبا ما ت جاهل المعلومات النصية التي تحملها العقد والحواف. وفي الوقت نفسه، تتعلم نماذج اللغة المدربة مسبقا معرفة ضخمة مفتوحة عالمية من الكائنات الكبيرة، ولكنها في شكل اللغة الطبيعية وليس منظم. لسد الفجوة بين اللغة الطبيعية و KB الهيكلية، نقترح ثلاث مهام تعلم العلاقة ل KBQA القائم على BERT، بما في ذلك استخراج العلاقة ومطابقة العلاقات والمعاقين. عن طريق التدريب المعزز في العلاقة، يتعلم النموذج مواءمة تعبيرات اللغات الطبيعية للعلاقات في KB وكذلك السبب في الروابط المفقودة في KB. تظهر التجارب على WebQSP أن طريقتنا تتفوق باستمرار على خطوط الأساس الأخرى، خاصة عندما تكون KB غير مكتملة.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا