multiPRover: Generating Multiple Proofs for Improved Interpretability in Rule Reasoning

نحن نركز على نوع من المنطق الرسمي اللغوي حيث يكون الهدف هو السبب في معرفة واضحة في شكل حقائق وقواعد لغوية طبيعية (كلارك وآخرون، 2020). يعمل عمل مؤخرا، يدعى Prover (Saha et al.، 2020)، من المنطق من خلال الإجابة على سؤال ويولد أيضا رسم بياني إثبات يشرح الجواب. ومع ذلك، فإن المنطق التركيبي ليس فريدا دائما وقد يكون هناك طرق متعددة للتوصل إلى الإجابة الصحيحة. وهكذا، في عملنا، نتعامل مع مشكلة جديدة وصعبة لتوليد رسوم بيانية إثبات متعددة للمناسبة في قواعد قواعد اللغة الطبيعية. يوفر كل دليل على الأساس المنطقي مختلف للإجابة، وبالتالي تحسين إمكانية تفسير أنظمة المنطق هذه. من أجل التعلم المشترك من جميع الرسوم البيانية المقررة واستغلال الارتباط بين البراهين المتعددة لسؤال، نطرح هذه المهمة كمشكلة توليد محددة على مساحات الإخراج المنظمة حيث يتم تمثيل كل دليل كشركة بيانية موجهة. نقترح اثنين من المتغيرات لطراز جيل مجموعة دليل، Multiprover. ينشئ النموذج الأول لدينا، Multilabel-multiprover، مجموعة من البراهين عبر تصنيف العلامات المتعددة والتكييف الضمني بين البراهين؛ في حين أن النموذج الثاني، Multrive-multriver، يولد دليلا بشكل مثالي من خلال تكييف صريح على البراهين التي تم إنشاؤها مسبقا. تكشف التجارب على مجموعات البيانات الاصطناعية الصفرية، والصفرية، وإشعال مجموعات البيانات، أن كلا من طرازات Multiprover Upperform بشكل كبير تفوق Prover على مجموعات البيانات التي تحتوي على برائق ذهبية متعددة. يحصل Merriative-MultiProver على أحدث دليل على السيناريوهات التي تتميز بالرصاص حيث تحتوي جميع الأمثلة على براهين صحيحة واحدة. كما تعمم بشكل أفضل للأسئلة التي تتطلب أعماق أعلى من التفكير حيث تكون البراهين المتعددة أكثر تواترا.

We focus on a type of linguistic formal reasoning where the goal is to reason over explicit knowledge in the form of natural language facts and rules (Clark et al., 2020). A recent work, named PRover (Saha et al., 2020), performs such reasoning by answering a question and also generating a proof graph that explains the answer. However, compositional reasoning is not always unique and there may be multiple ways of reaching the correct answer. Thus, in our work, we address a new and challenging problem of generating multiple proof graphs for reasoning over natural language rule-bases. Each proof provides a different rationale for the answer, thereby improving the interpretability of such reasoning systems. In order to jointly learn from all proof graphs and exploit the correlations between multiple proofs for a question, we pose this task as a set generation problem over structured output spaces where each proof is represented as a directed graph. We propose two variants of a proof-set generation model, multiPRover. Our first model, Multilabel-multiPRover, generates a set of proofs via multi-label classification and implicit conditioning between the proofs; while the second model, Iterative-multiPRover, generates proofs iteratively by explicitly conditioning on the previously generated proofs. Experiments on multiple synthetic, zero-shot, and human-paraphrased datasets reveal that both multiPRover models significantly outperform PRover on datasets containing multiple gold proofs. Iterative-multiPRover obtains state-of-the-art proof F1 in zero-shot scenarios where all examples have single correct proofs. It also generalizes better to questions requiring higher depths of reasoning where multiple proofs are more frequent.