QA-GNN: التفكير مع نماذج اللغة ورسم الرسوم البيانية المعرفة للحصول على السؤال الرد

تعرض مشكلة الإجابة على الأسئلة التي تستخدم المعرفة من طرازات اللغة المدربة مسبقا (LMS) ورسم الرسوم البيانية المعرفة (KGS) تحديين: بالنظر إلى سياق ضمان الجودة (اختيار الأسئلة والأجوبة)، فإن الأساليب تحتاج إلى (I) تحديد المعرفة ذات الصلة من KGS الكبيرة،و (2) أداء التفكير المشترك في سياق ضمان الجودة و KG.هنا نقترح نموذجا جديدا، QA-GNN، الذي يتناول التحديات المذكورة أعلاه من خلال ابتكارات رئيسيتين: (ط) تسجيل الملاءمة، حيث نستخدم LMS لتقدير أهمية عقد KG بالنسبة إلى سياق ضمان الجودة المحدد، و (2) مشتركالتفكير، حيث نتواصل مع سياق ضمان الجودة و KG لتشكيل رسم بياني مشترك، وتحديث خصائصها المتبادلة من خلال رسالة الرسوم البيانية القائمة على الرسم البياني.نقوم بتقييم QA-GNN على مجموعات بيانات Commonsenseenseqa و OpenBookqa، وإظهار تحسنها على نماذج LM و LM + KG الحالية، وكذلك قدرتها على أداء التفكير القابل للتفسير والمنظم، على سبيل المثال، المناولة الصحيحة في الأسئلة.

The problem of answering questions using knowledge from pre-trained language models (LMs) and knowledge graphs (KGs) presents two challenges: given a QA context (question and answer choice), methods need to (i) identify relevant knowledge from large KGs, and (ii) perform joint reasoning over the QA context and KG. Here we propose a new model, QA-GNN, which addresses the above challenges through two key innovations: (i) relevance scoring, where we use LMs to estimate the importance of KG nodes relative to the given QA context, and (ii) joint reasoning, where we connect the QA context and KG to form a joint graph, and mutually update their representations through graph-based message passing. We evaluate QA-GNN on the CommonsenseQA and OpenBookQA datasets, and show its improvement over existing LM and LM+KG models, as well as its capability to perform interpretable and structured reasoning, e.g., correctly handling negation in questions.